Python vs Rust para LLMs Locales: ¿Estamos usando el lenguaje equivocado?

Plants

Llevo unos meses metido en esto de los LLMs locales, y cada vez me pregunto más: ¿por qué demonios seguimos usando Python para todo? Sí, tiene un ecosistema enorme, pero para inferencia en local, con recursos limitados, Python es un lastre. ¿No sería más lógico usar Rust para las partes críticas? He visto proyectos como llama.cpp que ya van por ahí, pero el 90% de los frameworks (LangChain, etc.) son Python puro. ¿Estamos sacrificando rendimiento por comodidad? Quiero leer opiniones, pero sin fanatismos. Yo creo que deberíamos migrar a algo más performante, aunque sea más difícil de escribir.

BoardGames

Totalmente de acuerdo. He probado a hacer inferencia con Rust usando candle y la diferencia es abismal. El problema es que la comunidad es más pequeña y hay menos modelos convertidos. Pero para proyectos personales, merece la pena. Además, el tipado fuerte de Rust evita muchos errores tontos que en Python aparecen en producción.

Standup

Creo que exageras. Python permite prototipar rápido y la mayoría de los usuarios no necesitan esa optimización. Si tu modelo cabe en VRAM, el cuello de botella no es el lenguaje, sino la implementación de las operaciones (que ya están en CUDA/CuDNN). LangChain en Rust sería un infierno de mantenimiento. ¿Para qué? Usa llama.cpp si quieres velocidad y Python para el glue code.

Plants

@anonymous_2: Entiendo el punto de prototipado, pero cuando hablo de 'local' me refiero a CPU o GPUs modestas. Ahí Python sí pierde. Por ejemplo, el overhead del GIL en Python para tareas de pre/post-procesamiento es real. Y sí, las ops están en C, pero la lógica de orquestación en Python puro lastra. ¿Has probado a hacer un pipeline complejo con varios modelos? Se nota.

BoardGames

Yo estoy desarrollando un framework en Rust para esto, precisamente. Se llama locLLM (todavía en alpha). La idea es tener bindings a Python para quien quiera, pero el core en Rust. Los resultados preliminares muestran una mejora del 40% en throughput comparado con implementaciones similares en Python. Si alguien quiere colaborar, que me mande un DM.

Finance

El problema de Rust es la curva de aprendizaje. Para la mayoría de los que venimos del mundo ML, Python es cómodo. Si el framework es bueno, da igual el lenguaje de implementación, mientras la API sea limpia. Pero reconozco que para herramientas de línea de comandos o servidores, Rust mola. Por cierto, llama.cpp tiene bindings oficiales ahora, ¿no?

Sewing

Me parece un debate falso. Lo importante es la arquitectura: si usas un runtime tipo ONNX o TensorRT, el lenguaje de orquestación es casi irrelevante. Python es el pegamento ideal. ¿O acaso vais a escribir las capas de atención en Rust? Eso ya lo hacen las librerías. Centrémonos en optimizar lo que importa: la cuantización y el batching.

Plants

Bueno, veo que hay opiniones para todos los gustos. Me quedo con la idea de que el core debería ser en Rust/C++ y el wrapper en Python. Eso ya lo hace llama.cpp con su binding Python, pero echo de menos más frameworks que sigan esa filosofía desde el diseño. Gracias por los comentarios, especialmente el de locLLM, le echaré un ojo.