Creo que están complicando demasiado. Para productividad, a veces basta con un buen prompt engineering. Por ejemplo, uso langchain con modelos de OpenAI para que me genere resúmenes y tareas a partir de texto. Sí, tiene costo, pero el tiempo que ahorras lo compensa. Además, puedes usar modelos locales como llama.cpp para evitar enviar datos a la nube. No todo tiene que ser un modelo entrenado desde cero.