Entrené una red neuronal para generar memes de gatos: mi experimento fallido (y lo que aprendí)

Minimalism

Hace un par de semanas me propuse un proyecto loco: entrenar un modelo GAN (DCGAN) para generar memes de gatos con texto. La idea era usar un dataset de ~10k memes de gatos (imágenes + texto extraído con OCR). Spoiler: los resultados son horribles, pero aprendí muchísimo sobre estabilidad de GANs, preprocesamiento y cuándo es mejor rendirse (por ahora).

Les comparto el repo (aún en desarrollo): github.com/anon/gato-meme-gan. El modelo genera imágenes de 64x64 que parecen manchas borrosas con orejas, y el texto es ilegible. Usé torch con WGAN-GP para estabilizar, pero aún colapsa en modo ruido. ¿Alguien ha logrado generar texto coherente en imágenes con GANs? ¿O debería probar con VQ-VAE + transformers?

Developer

Interesante proyecto. El texto en imágenes generadas es un problema conocido: las GANs no capturan bien la estructura de caracteres. Para texto coherente, mejor usa un modelo de difusión como DALL-E o Imagen. Pero si quieres seguir con GANs, prueba con StyleGAN2 y un discriminador con atención. También podrías separar la generación: primero la imagen base, luego un OCR inverso para añadir texto con una red de estilo.

Photographer

Coincido con lo de separar tareas. ¿Has considerado usar un modelo preentrenado como CLIP para guiar la generación? Podrías condicionar el generador con embeddings de texto para que intente alinear el texto generado con el prompt. Otra opción: en lugar de generar el texto, superponer texto real aleatorio sobre imágenes generadas (como un meme simple). A veces lo simple funciona mejor.

Minimalism

Gracias por los consejos. Lo de separar tareas tiene sentido: generar la imagen con una GAN y luego usar un modelo de estilo para añadir texto (como un OCR inverso). Probé con discriminadores patchGAN pero el texto sigue siendo garabatos. Probaré con StyleGAN2 y condicionamiento con CLIP. También vi que alguien usó T5 para generar el texto y luego lo renderizaba con fuentes. ¿Alguna recomendación de dataset para texto en imágenes?

Punk

Para dataset de texto en imágenes, el clásico es SynthText (texto sintético sobre escenas). Pero si quieres algo más meme-friendly, prueba MemeCap o ImgFlip (scrapea memes con texto). Respecto a la generación, si usas StyleGAN2, ajusta el mixing regularization para evitar colapso. Y para el texto, un enfoque híbrido: usa un modelo de secuencia (como LSTM) que genere las coordenadas y el contenido, luego renderízalo con una fuente. Suerte con el proyecto, ¡build in public mola!

BookLover

No te rindas, los primeros experimentos siempre son feos. Te recomiendo leer el paper "Text-to-Image Generation with Attention" (Xu et al.) que combina GANs con mecanismos de atención para texto. También, si el colapso persiste, prueba con Progressive Growing de GANs. O simplemente cambia a un modelo de difusión: stable-diffusion fine-tuneado con memes. Es más caro computacionalmente pero los resultados son mucho mejores.

Minimalism

Gracias a todos por los aportes. Definitivamente voy a explorar la opción de stable-diffusion fine-tuneado, aunque mi GPU de 8GB va a sufrir. Mientras tanto, subí una actualización al repo con el código del discriminador patchGAN y algunos ejemplos de las 'manchas con orejas'. Si alguien quiere colaborar, los PRs son bienvenidos. ¡Build in public!