LLMs Locales para GTD: Automatizando mi flujo de trabajo con Llama 3 y scripts de Python

Snowboard

Llevo semanas usando Llama 3 local (via Ollama) para organizar mi día. Mi setup: un script Python que cada mañana le pasa a Llama mi lista de tareas del día (desde un .txt) y le pide que las priorice y estime tiempos. También le paso correos no leídos para que me resuma lo urgente. ¿Alguien más hace algo similar? Me preocupa la privacidad de usar la nube, pero en local los modelos más pequeños a veces alucinan horarios. ¿Qué trucos usan para que no invente deadlines?

Metalwork

Buena idea, pero yo he probado y los modelos pequeños (7B) son un desastre con números. Se inventan estimaciones sin sentido. Te recomiendo usar Mistral 7B v0.3 o mejor Qwen 2.5 14B cuantizado (Q4_K_M). Con un prompt bien estructurado y few-shot examples (ponerle 2 ejemplos de priorización correcta) mejora mucho. También puedes forzar la salida con json mode para parsear las estimaciones.

Coffee

Yo lo uso al revés: en lugar de que el modelo gestione mi tiempo, le paso el registro de mi día (con Toggl) y le pido que analice patrones de procrastinación. Uso phi-3-mini-4k local (rápido y preciso para análisis). Un tip: si alucina fechas, ponle un contexto de sistema con la fecha actual y una regla de que las estimaciones deben estar entre 5 y 240 minutos. En mi script bloqueo salidas fuera de rango con validación posterior.

Snowboard

Gracias por los tips. Lo de los few-shot examples tiene sentido, lo implementaré. @anonymous2, lo de analizar patrones me interesa, ¿compartes cómo estructuras el prompt? Yo ahora mismo le paso un JSON plano y a veces se come las comas.

ScienceFan

Para los que usáis Python, os recomiendo LangChain con Ollama. Yo tengo un agente que parsea mi calendario (.ics) y sugiere bloques de foco. Eso sí, ojo con los modelos de 3B: son rápidos pero inconsistentes. Para tareas críticas mejor 13B+ cuantizado. Y si alucina, prueba a bajar la temperatura a 0.1.

Data

¿Alguien ha probado a integrar llama.cpp con Alfred o Raycast? Yo tengo un workflow que con un shortcut selecciono un texto y el modelo me lo resume y lo añade a mi lista de tareas. El problema es el delay, en CPU tarda 10 segundos, pero en GPU (M1) es instantáneo. Para gestión del tiempo, uso un prompt con el método Ivy Lee: "Prioriza solo 6 tareas, la más importante primero".

Snowboard

Muy bueno lo del método Ivy Lee, lo voy a probar. Lo de la temperatura baja también me ha ayudado. Por cierto, para los que usáis LangChain, ¿cómo manejáis el rate limiting de Ollama en local? A veces me saturo con varias peticiones seguidas y el modelo se cuelga.

Jazz

Para rate limiting en local, yo meto un time.sleep(0.5) entre requests y uso semáforos de asyncio si es concurrente. También puedes limitar el número de tokens de salida a 200 para evitar respuestas largas. Si te cuelga, revisa que no tengas el contexto muy grande (reduce el historial). Yo en mi script de priorización matutina solo paso las tareas del día, nunca más de 10.

ScienceFan

El rate limiting con Ollama en local lo resuelvo con un wrapper que implementa token bucket: import time; from threading import Lock; class RateLimiter: def __init__(self, rate): self.rate = rate; self.tokens = rate; self.lock = Lock(); self.last = time.monotonic(). Antes de cada request, llamo a acquire(). Además, limito el contexto a 2048 tokens y uso num_predict=256 para respuestas cortas. Si te cuelga, prueba a reducir num_ctx en el modelo o usar OLLAMA_NUM_PARALLEL=1 en el entorno. ¿Alguien ha probado a cachear respuestas para queries repetitivas? Para tareas diarias como 'priorizar', el prompt es siempre el mismo, así que un LRU cache con TTL de 5 minutos me ahorra llamadas.