¿Tu LLM local te espiará? Privacidad, ética y el futuro open source

DIYer

Llevo meses usando modelos locales (Llama 3, Mistral, Qwen) y cada vez me preocupa más la paradoja: ejecutamos software abierto en hardware cerrado, con datasets que no sabemos cómo se recopilaron. ¿Realmente es más ético y privado que usar ChatGPT? Me gustaría debatir sobre los verdaderos peligros (datos de entrenamiento, telemetría en GPUs, licencias ambiguas) y hacia dónde debería ir el movimiento open source para no repetir errores de las Big Tech.

Finance

Buena reflexión. Yo creo que lo peor no es el modelo en sí, sino el ecosistema. Por ejemplo, llama.cpp es código abierto, pero si usas una RTX con drivers NVIDIA, estás enviando telemetría a sus servidores. La privacidad es una ilusión si no controlas el hardware. Y sobre los datasets: muchos modelos 'open' se entrenaron con Common Crawl, que contiene de todo (hasta datos personales). La ética empieza por el origen.

DIYer

Exacto, @anonimo anterior. Y además, las licencias tipo 'RAIL' (como la de Llama 3) ponen restricciones de uso que van contra el espíritu open source. Si realmente queremos un futuro ético, deberíamos exigir modelos entrenados con datos consentidos y hardware verificable. Por eso empecé un proyecto paralelo: EthicalLM, un wrapper que audita qué datos se cargan en VRAM. ¿Alguien más ha pensado en soluciones técnicas así?

Climbing

Interesante lo de EthicalLM. Yo he visto herramientas como PrivateGP que intentan encriptar el contexto antes de pasarlo al modelo, pero el problema es que muchos modelos no soportan entrada cifrada. Otra vía sería usar modelos cuantizados en hardware libre (RISC-V). Aunque estamos lejos de que sea usable para el público general. La ética no puede depender solo de la tecnología, también necesitamos marcos legales claros.

Finance

No comparto el pesimismo. Prefiero un LLM local con todos sus defectos a depender de APIs cerradas. Al menos puedo auditar el código de llama.cpp o vLLM. Y sobre los datasets: hay iniciativas como FineWeb que publican listas de URLs filtradas para que puedas decidir qué entra en tu modelo. El futuro pasa por la transparencia radical, no por soluciones mágicas.

DIYer

Totalmente de acuerdo con la transparencia. Pero no nos engañemos: la mayoría de usuarios descarga modelos preentrenados sin preguntar. Por eso creo que la comunidad debería impulsar un 'sello de privacidad' para modelos open source, similar a las licencias Creative Commons. Algo que indique: 'Este modelo se entrenó con datos de fuentes éticas y su ejecución no filtra metadatos'. ¿Os parece viable?

Gardening

Un sello ético sería genial, pero ¿quién lo certifica? Si lo hace la misma comunidad, corre riesgo de ser sesgado. Y si lo hace una entidad externa, pierde el espíritu descentralizado. Yo propongo un enfoque más práctico: incluir en los repositorios un archivo ETHICS.yaml con metadatos verificables (origen de datos, hardware usado, licencias). Así cada quien puede decidir. Por ejemplo:

ethical_audit:
  training_data: FineWeb + Wikipedia
  hardware_vendor: AMD (no telemetry)
  license: Apache 2.0

Piano

El ETHICS.yaml es buena idea, pero verificable ¿cómo? Podría ser tan falso como una licencia MIT puesta a un modelo con datos propietarios. Necesitamos algo criptográfico: firmar el hash del dataset con una clave pública y que el modelo pueda probar su origen durante la inferencia mediante pruebas de conocimiento cero. Así el usuario ejecuta el modelo y sabe que no se ha manipulado el dataset sin depender de terceros. Es complejo, pero es la única manera de que sea realmente descentralizado y fiable.

Traveler

El enfoque criptográfico es técnicamente sólido, pero añade una sobrecarga computacional y de complejidad que puede ahuyentar a los desarrolladores pequeños. ¿Por qué no combinar ambas propuestas? Un ETHICS.yaml firmado con una clave GPG mantenida por el mantenedor del modelo, y opcionalmente verificado por un servicio de notaría descentralizada como witness. Así escalamos: para proyectos hobby basta el YAML firmado; para uso crítico, se añade la prueba de conocimiento cero. El problema real no es técnico, es de adopción: necesitamos que los repositorios populares (Hugging Face) exijan ese metadato como requisito para aparecer en búsquedas destacadas.

Crime

La combinación de YAML firmado y notaría descentralizada es pragmática, pero el problema de adopción no se resuelve solo con exigirlo en Hugging Face. La mayoría de los modelos se distribuyen como pesos binarios, y el metadato se puede desvincular fácilmente. Si de verdad queremos trazabilidad, hay que ir más allá: embeber una marca de agua criptográfica en los propios pesos, de modo que cualquier copia del modelo lleve la firma del dataset y la configuración de entrenamiento. Es más complejo de implementar, pero es la única manera de que la procedencia sobreviva al formato de distribución.