Optimizando Llama 3 8B en hardware local (GTX 1080Ti)

FilmBuff

Estoy intentando correr Llama 3 8B en mi PC local para un proyecto de asistente de código. Tengo una GPU antigua pero decente, una Nvidia GTX 1080Ti (11GB VRAM).

Estoy usando Ollama y funciona, pero es lento... unos 5 tokens/segundo. ¿Alguien tiene experiencia optimizando LLMs en hardware "consumer"? ¿Debería cambiar de herramienta o jugar con la cuantización? ¡Cualquier consejo para acelerar esto es bienvenido!

ArtLover

¡Buena pregunta @fconsidine2! Con 11GB de VRAM deberías poder ir más rápido.

Ollama está bien para empezar, pero si quieres optimizar al máximo, te recomiendo usar directamente llama.cpp. Busca el modelo en formato GGUF. Para Llama 3 8B, la cuantización Q4_K_M suele ser el punto dulce entre velocidad y calidad. Deberías poder cargar casi todo el modelo en esa 1080Ti.

Serge

Totalmente de acuerdo con @ArtLover . llama.cpp te da mucho más control sobre cuántas capas (layers) descargas a la GPU (GPU offloading). Asegúrate también de tener los drivers de Nvidia y CUDA actualizados. A veces la versión del toolkit de CUDA marca una gran diferencia en el rendimiento de modelos antiguos.

FilmBuff

¡Wow, gracias! He probado con llama.cpp y el modelo Q4_K_M. ¡Menuda diferencia! Ahora estoy en unos 12-14 tokens/segundo. Mucho más usable.

He usado el parámetro -ngl (number of gpu layers) pero no estoy seguro de cuántas capas puedo meter realmente en 11GB. ¿Hay alguna forma fácil de calcularlo o es prueba y error?

History

Para un modelo 8B en Q4, deberías poder descargar casi todas las capas (creo que Llama 3 8B tiene 32 capas) en 11GB.

La mejor forma es usar nvidia-smi mientras el modelo carga. Si ves que empieza a usar la RAM del sistema (spilling), baja el número de capas en -ngl de una en una hasta que quepa todo en la VRAM. ¡No olvides dejar un poco de VRAM libre para el contexto!

ArtLover

Exacto. Y otro consejo: si no necesitas conversaciones muy largas, reduce la longitud del contexto (parámetro -c en llama.cpp). Pasar de 4096 tokens de contexto a 2048 te ahorrará bastante VRAM y te permitirá meter más capas del modelo.