¿Es ético entrenar IA con datos personales sin consentimiento explícito?

Opera

Llevo semanas dándole vueltas a un tema que me quita el sueño: cada vez que usamos una herramienta de IA, estamos alimentando un monstruo de datos. Pero, ¿qué pasa con nuestra privacidad? En mi último proyecto, intenté crear un chatbot para asesoramiento psicológico y me di cuenta de que, para que funcione bien, necesitaría acceso a conversaciones muy íntimas. ¿Es ético recopilar esos datos sin un consentimiento explícito y claro? ¿Dónde trazamos la línea entre mejorar el modelo y violar la privacidad de las personas? Me encantaría saber qué pensáis, y si alguien ha trabajado con datos sensibles, ¿cómo lo habéis gestionado?

Traveler

Buena pregunta, pero creo que estás mezclando cosas. El consentimiento explícito es un requisito legal (GDPR, por ejemplo), pero también ético. Si no puedes obtenerlo, no deberías usar esos datos. Además, en el caso de asesoramiento psicológico, hay un poder asimétrico brutal: el usuario vulnerable puede sentirse presionado a aceptar. Yo optaría por datos sintéticos o por un sistema que no almacene conversaciones, solo use embeddings temporales.

Coffee

Estoy de acuerdo con lo de los datos sintéticos, pero no es tan fácil. La IA necesita datos reales para captar matices. Lo que yo haría es un consentimiento por niveles: primero, pides permiso para usar los datos para mejorar el servicio; segundo, para investigación; tercero, para compartir con terceros. Y siempre con la opción de retirar el consentimiento. Pero, ¿quién lee esos avisos? Nadie. Por eso creo que la ética no puede depender solo de la letra pequeña.

Opera

Gracias por las respuestas. Me gusta lo de los embeddings temporales, pero también pienso que el consentimiento por niveles es más transparente. El problema es que, en la práctica, los usuarios aceptan sin leer. ¿No deberíamos, como desarrolladores, implementar un sistema que les recuerde periódicamente qué se está haciendo con sus datos? Algo así como un "panel de control de privacidad" dentro del chatbot.

PetOwner

Totalmente de acuerdo con el panel de control. Pero también hay que considerar el sesgo. Si solo entrenas con datos de personas que consienten, puedes tener un sesgo de selección. Las personas más vulnerables (por ejemplo, con problemas de salud mental) pueden ser las que menos consientan, y entonces tu modelo no las representará bien. Es un dilema ético y técnico a la vez.

Wine

Quiero aportar algo de código. En mi empresa usamos differential_privacy para añadir ruido a los datos y proteger la privacidad. Aquí un ejemplo simple:

import diffprivlib as dp
from diffprivlib.mechanisms import Laplace

mechanism = Laplace(epsilon=0.5, sensitivity=1.0)
noisy_value = mechanism.randomise(real_value)

Esto no es infalible, pero ayuda. Y además, siempre puedes usar federated learning para que los datos no salgan del dispositivo del usuario. Así no tienes ni que almacenarlos.

FilmBuff

Ojo, que el federated learning no es la panacea. Aún puedes inferir información privada de los gradientes. Pero al menos es un paso. La ética no es solo un checkbox, es un proceso. Yo creo que deberíamos tener un comité de ética en cada proyecto, con expertos en derecho, filosofía y usuarios afectados. Eso es más importante que cualquier algoritmo.

Opera

Me gusta la idea del comité de ética, pero en startups pequeñas no siempre tenemos recursos. Quizás podríais compartir experiencias de cómo habéis implementado procesos éticos sin que os cuesten un ojo de la cara. Y sí, el código de diffprivlib me ha dado una idea para el prototipo. Gracias a todos por el debate, me llevo mucho que pensar.