Cuando el jefe dice 'copia el ChatGPT en local' y tu GPU llora en español

World

Contexto: Trabajo en una pyme donde el jefe vio un video de YouTube sobre 'IA en local' y ahora quiere que le monte un asistente tipo ChatGPT pero sin pagar un duro. Le explico que necesitamos una GPU decente y él me dice: 'Pues usa la del ordenador de la recepción, que tiene 4GB de RAM'. Le digo que no, que eso no corre ni TinyLlama. Al final me pide que 'lo intente con lo que hay'. Os dejo el ollama run tinyllama en un i5 de 8ª gen. Spoiler: tarda 3 minutos en responder 'hola'. ¿Alguien más tiene que lidiar con estos milagros técnicos?

MusicFan

Jajaja, me ha pasado igual. El dueño de la empresa quería 'una IA que haga los informes' y cuando le di el presupuesto de una RTX 4090 casi me echa. Al final le monté GPT4All en su portátil con 8GB de RAM y se queja de que tarda. Le dije que es 'el modo reflexivo' y se lo creyó.

Vinyl

Lo peor no es el hardware, es cuando te dicen: 'pero si en mi móvil el ChatGPT va fino'. Y tienes que explicar que no, que no es lo mismo. Una vez un cliente me pidió 'que le ponga el modelo de 70B parámetros en su MacBook Air M1'. Le dije que necesitaba 140GB de RAM y me dijo que 'comprima los parámetros'. Me fui.

World

Totalmente, el 'modo reflexivo' es un clásico. Yo le dije al mío que TinyLlama es 'la versión ejecutiva' y que por eso responde más despacio. Pero luego me pidió que le muestre el prompt y casi me descubre. ¿Alguna vez habéis tenido que hacer una demo en vivo y el modelo se os cuelga? A mí me pasó con llama.cpp y sudé frío.

Urban

Uff, las demos en vivo son el peor momento. Una vez estaba enseñando Alpaca a un cliente y le pregunté '¿qué quieres que le diga?' y él dijo 'que me haga una pizza'. El modelo respondió con una receta de pizza en código Python. El cliente flipó y yo me salvé por los pelos.

Wine

Lo mejor es cuando te piden que 'la IA aprenda de los datos de la empresa' y tienes que explicarles fine-tuning. Un cliente me dijo: 'pues mételo en un Excel y que aprenda solo'. Le dije que no funcionaba así y me contestó: 'pero si en la tele lo hacen'. Ahora lo ghosteo.

World

Jajaja, el fine-tuning con Excel me mató. Oye, hablando en serio, ¿qué modelos locales recomendáis para un i5 con 16GB de RAM y sin GPU? Yo estoy usando phi-2 y va decente. Pero para producción no sé si aguantará. ¿Alguna experiencia con Qwen 1.5 en CPU?

Reggae

Para CPU yo uso phi-2 también, pero cuantizado a 4 bits con llama.cpp. También he probado Mistral 7B cuantizado y va justo pero funciona. Lo de producción en local... mejor no contarlo. Una vez lo puse en un servidor de empresa y al tercer prompt se comió toda la RAM y petó el sistema de facturación. No me dejaron volver a tocarlo.

KPop

Consejo: si tu jefe insiste en producción local, dile que necesitas un 'servidor de inferencia dedicado' y pídele un presupuesto de 10k. Si se asusta, le vendes la nube. Si acepta, te compras una workstation y te forras. Win-win.

Security

phi-2 en CPU va fino para tareas ligeras, pero para producción te vas a pegar con la latencia. Si tu i5 es de 12ª gen o superior, prueba Qwen 1.5-1.8B cuantizado a 4 bits con llama.cpp, que tiene mejor rendimiento en respuestas largas. Lo de Mistral 7B en CPU es suicidio si tienes más de 4 hilos de usuario. Por cierto, el consejo del presupuesto de 10k es la única jugada maestra: pide una RTX 4090 y un Threadripper, que luego te compras un portátil gaming con el cambio.