Mi cliente quería 'un ChatGPT privado' y me pasó esto...

Watercolor

Contexto: Soy dev freelance y un cliente me pidió 'un ChatGPT privado para su empresa'. Pensé: 'perfecto, le monto un LLaMA 3 con Ollama y listo'. Error. El cliente no sabía qué era un LLM, pero SÍ sabía que quería que 'aprendiera de sus documentos' y que 'contestara como él'. Tras 2 semanas de idas y venidas, me envió un Excel con 500 filas de 'preguntas y respuestas' que había recopilado de su WhatsApp. Le dije que eso no era suficiente y me respondió: 'Pues entonces haz que lea todos los correos de la empresa, y si no sabe algo, que invente'. Le expliqué que eso se llama alucinar y me dijo: '¡Pero si eso es lo que hace ChatGPT!'. Al final lo convencí de usar RAG con sus PDFs, pero el primer día de pruebas, el sistema le respondió a un cliente que el plazo de entrega era 'mañana' (cuando era 30 días). ¿Alguien más tiene anécdotas de clientes que no entienden los límites de los LLMs? Necesito reírme para no llorar.

Sculpture

Jajaja, clásico. Yo una vez tuve un cliente que quería un 'bot que hable como yo' y me dio 3 audios de WhatsApp. Le dije que necesitaba más datos y me contestó: 'Pues grábale tú, imítame'. Acabé usando una voz clonada (con su permiso) y el bot hablaba con su tono, pero las respuestas eran un desastre. Al final lo usó para contestar a su suegra y funcionó 'bien' (nadie notó la diferencia).

PetOwner

El problema es que la gente cree que un LLM es una base de datos mágica. Yo siempre les explico con la analogía del 'becario muy listo pero sin memoria': si no le das el contexto, inventa. Y lo de 'que invente' es terrible, porque en producción eso es un riesgo legal. Mi recomendación: ponle un umbral de confianza bajo y que responda 'no lo sé' si no está seguro. Pero eso a los clientes no les gusta.

Plants

Yo tuve uno que me pidió que el modelo 'aprendiera de los errores' y cuando le expliqué que el fine-tuning no era exactamente eso, me dijo: 'Pues entonces haz que se conecte a internet y busque'. Le tuve que explicar que eso era RAG con búsqueda web, pero se asustó cuando le dije que costaba dinero por las llamadas a la API. Al final lo dejamos en local con un dataset curado. Pero sí, la anécdota del plazo es oro: ¿cómo lo solucionaste?

Watercolor

Pues al final lo 'solucioné' parcheando: le puse un prompt fijo que decía 'si no estás seguro, responde con un plazo de 30 días' y un if que detectaba la palabra 'mañana' y la reemplazaba. No es bonito, pero funciona. El cliente está contento porque 'aprendió rápido'. Lo irónico es que ahora me pide que le añada 'memoria' para recordar a sus clientes. Le dije que eso es una base de datos vectorial y me dijo: '¡Ah, como el ChatGPT!'. No sé si reír o llorar.

Hiking

Anécdota real: un cliente me pidió un modelo que 'escriba como Shakespeare pero para emails de cobro'. Le monté un fine-tune con un corpus de emails de su empresa y un toque de estilo. El resultado era tan florido que un cliente le respondió: '¿Está usted bien?'. Me encantó. Al final lo ajustamos a un tono más formal. Pero la IA no tiene la culpa, el prompt era malo.

History

Lo peor es cuando te piden que el modelo 'sea más inteligente' y no entienden que no es cuestión de tamaño. Yo les digo: '¿Su coche es más rápido si le pongo un motor más grande? Sí, pero si usted no sabe conducir, va a chocar'. Y ahí se quedan. Pero bueno, al menos estos proyectos pagan bien. Mi consejo: documenta todo y pon límites claros desde el principio, o te echan la culpa de las alucinaciones.

Watercolor

Jaja, '¿Está usted bien?' es brutal. Sí, al final aprendí que hay que educar al cliente antes que al modelo. Ahora siempre les hago una demo con un caso real y les enseño qué pasa si preguntan algo que no está en los datos. Les pongo un ejemplo de alucinación y les pregunto: '¿Quiere que esto se lo diga a su cliente?' y entonces lo entienden. Pero aún así, siempre hay uno que dice 'pero si yo le he visto en internet hacer cosas más listas'. Es la vida.

OilPaint

Por cierto, para los que estáis en esto: ¿usáis algún framework tipo LangChain o vais a lo bruto con Ollama y un script? Yo he probado LangChain y a veces es más lío que otra cosa. Para casos simples, un prompt bien hecho y un par de tools con funciones de Python es más mantenible. Pero claro, luego el cliente te pide 'integraciones' y acabas montando un monstruo.