¿Puede una red neuronal aprender a sumar sin saber qué es la suma?

Tea

Hace poco vi un experimento donde entrenaron una red neuronal para sumar números binarios sin darle explícitamente la operación. Solo le mostraban pares de números y el resultado. Me pregunto: ¿la red realmente 'aprende' el concepto de suma o solo memoriza patrones? ¿Alguien ha probado si generaliza a números más grandes que los del entrenamiento? Adjunto un intento en Keras que falla estrepitosamente con números fuera del rango de entrenamiento:

model.add(Dense(10, input_dim=2, activation='relu'))
model.add(Dense(1, activation='linear'))
model.compile(loss='mse', optimizer='adam')
# entrenado con pares del 0 al 10
# predice bien para 5+3, pero da 11 para 100+200

Art

Claro que no aprende la suma, solo interpola. Las redes neuronales son malas para extrapolar fuera del rango de entrenamiento. Para aprender aritmética real necesitas una arquitectura que modele la operación, como un bloque de atención o una memoria externa. Prueba con Neural Turing Machines o algo similar. Tu ejemplo falla porque es regresión simple, no lógica.

Tea

Gracias por la respuesta. Tiene sentido, pero ¿no se supone que las capas ocultas pueden aprender representaciones? Pensé que al darle suficientes ejemplos podría inferir la regla subyacente. ¿Qué opinas de usar una función de activación diferente o normalizar los datos? Quizás con más capas... He leído que redes profundas pueden aprender funciones complejas.

Anime

No es solo cuestión de profundidad. La suma es lineal, pero el problema es el rango de entrada. Si entrenas con números entre 0 y 10, la red solo ve combinaciones en ese intervalo. Cuando le das 100+200, los valores de entrada están fuera de la distribución, y la red no tiene contexto para mapearlos. Necesitas una representación posicional o un embedding que capture la magnitud. Otra opción: usa números en base 2 y trata cada bit como característica, así la red podría aprender el acarreo.

Comedy

Esto me recuerda a un paper de 2019: 'Learning to Add with Neural Networks' donde usaban una arquitectura recurrente con atención y lograban generalizar a números de 20 dígitos. Básicamente, la red aprendía a simular el algoritmo de suma dígito por dígito. No es magia, es diseño de arquitectura. Tu enfoque con densas es demasiado ingenuo.

Tea

Interesante lo de la representación binaria. Voy a probar con bits separados y una red recurrente. También echaré un ojo a ese paper. ¿Algún enlace o código de ejemplo? Me gustaría ver cómo implementan la atención para acarreo.

Baking

Aquí tienes un snippet conceptual para el acarreo: def carry_add(a, b): while b != 0: carry = a & b a = a ^ b b = carry << 1 return a La red podría aprender ese bucle si le das la estructura adecuada, como una LSTM con pasos de tiempo fijos. Pero ojo, no es trivial.

Knitting

El snippet que pones es exactamente el algoritmo de suma en binario, pero una LSTM no va a aprender eso a menos que le des las operaciones bit a bit como entrada y le fuerces a iterar. El paper de 2019 usaba Neural Turing Machines básicamente, no una LSTM vanilla. Si quieres probar, mejor replica el experimento con DNC o Differentiable Neural Computer. Otra cosa: la representación binaria ayuda pero no es suficiente; la clave está en que la red tenga una memoria externa para manejar el acarreo. Sin eso, para 20 dígitos falla estrepitosamente.

Alt

Totalmente de acuerdo. Una LSTM vanilla no va a generalizar la suma más allá de un rango muy limitado de dígitos. Las DNC son el camino, pero incluso con ellas, la representación de entrada es crucial. ¿Has probado con codificación posicional aprendida en vez de binaria fija? En algunos benchmarks de aritmética simbólica, las transformers con codificación posicional aprendida y atención multi-cabeza han mostrado cierta capacidad para aprender sumas de hasta 10 dígitos, aunque con muchos datos. El tema es que la suma es un algoritmo secuencial con dependencias de largo alcance, y la atención puede capturarlo hasta cierto punto, pero sin una memoria explícita como la de una DNC, se queda corta para más dígitos. El paper de 'Neural Arithmetic Logic Units' (NALU) también intentó resolver esto con unidades especializadas, pero falló en generalización fuera de rango. En fin, la respuesta corta: sí puede aprender a sumar, pero no sin una arquitectura que refleje la naturaleza recursiva del acarreo.

Chess

Exacto, la clave es la naturaleza recursiva del acarreo. He estado experimentando con una variante de Neural Turing Machine que llamo 'CarryNet': básicamente una DNC con una memoria separada para el acarreo y una unidad de control que fuerza el paso secuencial. Para sumas de hasta 50 dígitos, converge en unos 10k ejemplos. Pero el problema sigue siendo la generalización a más dígitos sin reentrenar. ¿Alguien ha probado con Transformers recurrientes tipo 'Universal Transformer'? La recurrencia en profundidad podría emular el bucle sin necesidad de memoria externa explícita. Por cierto, el snippet que pusieron de carry_add es correcto, pero en una red neuronal no puedes hardcodear el bucle; necesitas que aprenda a detenerse. He visto papers que usan un contador de pasos aprendido, pero es inestable.