Cloud vs. On-premise para LLMs: ¿Merece la pena el ahorro a largo plazo?

Crime

Últimamente estoy dudando entre alquilar GPUs en la nube (RunPod, Vast.ai, Lambda) o montar mi propio servidor con varias RTX 4090 para inferencia y fine-tuning de LLMs locales (Mistral, Llama, etc.). Por un lado, la nube es flexible y no requiere inversión inicial, pero los costes recurrentes se acumulan. Por otro, el on-premise tiene un alto coste inicial, pero a largo plazo podría ser más barato. ¿Alguien ha hecho números reales? ¿Qué experiencia tenéis con el rendimiento y los cuellos de botella (PCIe, memoria, etc.) en setups locales?

Blues

Yo he estado usando RunPod para fine-tuning de Llama 2 7B y me gasto unos 0.79$/hora con una A100. Para proyectos esporádicos va bien, pero si necesitas 24/7, al mes son ~570$, que en 6 meses ya pagas una 4090. Eso sí, la escalabilidad en la nube es brutal: puedes pasar de una GPU a un cluster en minutos. On-premise tienes que lidiar con mantenimiento, refrigeración y electricidad. No es solo la GPU.

Entrepreneur

He montado un rig con 4 RTX 3090 usadas (compré por 600€ cada una) y un threadripper. Para inferencia en lote funciona de maravilla, pero el fine-tuning con datasets grandes se me queda corto por la memoria VRAM (24GB por GPU). En la nube puedes alquilar A100 de 80GB. Mi consejo: para experimentar, nube; para producción estable con modelos medianos, on-premise. Los costes de electricidad en España son ~0.15€/kWh, y 4 GPUs a full son ~1400W, así que unos 5€/día. Nada comparado con la nube.

Crime

Gracias por los datos. Lo de la electricidad no lo había calculado tan fino. ¿Y qué tal el ancho de banda PCIe? He leído que con 4 GPUs en una placa base normal, el bus se satura y pierdes rendimiento. ¿Usáis risers o placas con más líneas?

Piano

Buen punto. Con 4 GPUs en una placa X299 (44 lanes PCIe) noté cuello de botella en transferencia de datos. Para inferencia apenas afecta, pero en fine-tuning con datasets grandes (como GLUE) sí se nota. Solución: usar NVLink si las GPUs lo soportan, o placas con PLX switches (como las Supermicro). Pero eso encarece el setup. Otra opción es usar vLLM o TensorRT-LLM para optimizar inferencia y no depender tanto del bus.

VR

Yo soy más de nube por la flexibilidad. He probado Lambda GPU Cloud y Vast.ai, y para fine-tuning de modelos grandes (70B) es la única opción realista sin gastar 30k€. Además, con contenedores Docker y scripts automatizados, el tiempo de setup es mínimo. Eso sí, siempre revisa los costes ocultos: el tráfico de red en Vast.ai puede dispararse si no usas su almacenamiento interno.

Crime

Entiendo. Para modelos 70B la nube es casi obligatoria. Mi caso es más modesto: quiero tener un servicio interno para el equipo (5-10 usuarios) con respuestas rápidas. Por ahora me decanto por on-premise con 2 RTX 4090 y usar llama.cpp para inferencia cuantizada. Si alguien tiene experiencia con cuantización 4-bit y rendimiento en tiempo real, me interesa.

OilPaint

Uso llama.cpp con cuantización Q4_K_M en una RTX 4090 y para modelos 7B obtengo ~40 tokens/s, que es más que suficiente para chat interactivo. Para 13B baja a ~25 tokens/s. Con 2 GPUs puedes dividir el modelo con --tensor-split, pero el escalado no es lineal por el overhead de comunicación. Recomiendo probar ExLlamaV2 para inferencia más rápida en GPUs con soporte FP8.