¿Servidor local con Ollama o API de pago? Dudas de novato sobre latencia y escalabilidad

Puzzles

¡Hola a todos! Soy bastante nuevo en esto de los LLMs y estoy empezando a montar un proyecto personal para un chatbot de atención al cliente. La idea es que sea rápido y barato. He visto que mucha gente recomienda Ollama para ejecutar modelos localmente, pero no sé si para un uso con varios usuarios concurrentes (digamos 10-20) va a ser suficiente. Mi máquina es una RTX 3060 12GB, 32GB RAM. ¿Merece la pena montar un servidor con vLLM o algo así, o mejor tirar por una API de pago? Lo que más me preocupa es la latencia: quiero respuestas en menos de 2 segundos. ¿Alguien ha probado algo similar?

Cars

Con 12GB de VRAM vas justo para modelos grandes tipo 13B o 30B. Para 20 usuarios concurrentes, un solo GPU se va a saturar si quieres latencia <2s. Te recomendaría usar vLLM con PagedAttention y cuantización 4-bit (AWQ o GPTQ). Por ejemplo, Mistral 7B cuantizado a 4-bit ocupa ~4GB y puede servir varias requests con batching. Pero 2s es exigente; quizás necesites 2 GPUs o reducir el número de usuarios simultáneos. Si es crítica la latencia, API de pago tipo Groq con sus LPUs es imbatible (menos de 0.5s).

Photographer

Estoy de acuerdo con la respuesta anterior, pero añadiría que Ollama no es la mejor opción para servir concurrentemente. Te faltan features como continuous batching o speculative decoding. Si quieres probar local, usa vLLM o TGI de Hugging Face. Yo tengo un setup similar: RTX 3080 10GB, y con Mistral 7B en 4-bit puedo atender 5-10 requests en menos de 2s. Para 20 usuarios, necesitarías escalar horizontalmente o aceptar colas. ¿Has considerado usar un modelo más pequeño como Phi-3 Mini (3.8B)? Es rápido y para chatbot puede ser suficiente.

Puzzles

¡Gracias por las ideas! Me estáis ayudando a aclararme. Lo de Phi-3 Mini no lo había considerado, pero me preocupa que pierda calidad en las respuestas. ¿Alguien ha probado a usar vLLM con un modelo más grande pero con streaming para que el usuario no note tanto la latencia? Otra opción: ¿merece la pena montar un cluster con varias GPUs viejas (ej. 2 RTX 3060)? Supongo que el coste energético puede ser alto comparado con una API.

Calligraphy

Si te preocupa la calidad, Phi-3 Mini está bien para tareas simples, pero para atención al cliente quizás necesites algo más robusto. Una alternativa es Qwen2.5 7B (o incluso Llama 3.1 8B) cuantizado a 4-bit. Con vLLM y streaming, la latencia percibida es menor porque muestras tokens conforme llegan. Pero ojo: el primer token (TTFT) puede ser alto si no tienes suficiente VRAM para el batch. Para cluster con múltiples GPUs, vLLM soporta tensor parallelism, pero con RTX 3060 sin NVLink, la comunicación PCIe puede ser cuello de botella. No te lo recomiendo a menos que tengas GPUs con NVLink. En coste, una API como Groq o Together.ai es más barata que tener 2 GPUs 24/7.

Developer

Opinión impopular: para 20 usuarios concurrentes, montar un servidor local es una pérdida de tiempo y dinero. Una API te quita dolores de cabeza. Además, con OpenRouter puedes probar varios modelos y elegir el que mejor relación calidad/precio tenga. Si quieres aprender, hazlo en local con un modelo pequeño, pero para producción, usa API. Mi experiencia: empecé con Ollama, luego vLLM, y al final me rendí porque el mantenimiento (actualizaciones, fallos de VRAM, etc.) no compensaba. Ahora uso Groq y pago ~?.10 por 1M tokens, y la latencia es de 0.3s.

Puzzles

Vale, creo que me estáis convenciendo de que para mi caso (20 usuarios, latencia <2s) lo mejor es una API. Pero tengo una duda más: ¿qué tal funciona la API de Groq con modelos de código abierto? He visto que solo tienen algunos modelos, como Mixtral o Llama. ¿Puedo subir yo mi propio modelo fine-tuneado? Si no, igual me interesa más Together.ai o Replicate que permiten custom models. ¿Alguna experiencia con eso?

Security

Groq no permite subir modelos custom, solo los que ellos tienen. Para fine-tune, Together.ai tiene buena pinta y permite desplegar tu modelo con una API. También Fireworks AI o Anyscale. Pero ojo: si tu modelo es fine-tuneado, necesitas que esté cuantizado y optimizado. Si no, puedes usar Hugging Face Inference Endpoints que te permite desplegar cualquier modelo con autoescalado. Es más caro, pero tienes control total. Para empezar, te recomendaría probar con un modelo de Groq (por ejemplo Mixtral 8x7B) y si ves que necesitas fine-tune, migras a otra plataforma. Su latencia es inmejorable.