¿Por qué mi scraper con Playwright/Python se cuelga al manejar Cloudflare Challenge? (Solución encontrada)

FoodLover

Llevo semanas dándole vueltas a un problema que me tiene loco. Estoy haciendo un scraper en Python con Playwright para extraer datos de un sitio que usa Cloudflare Challenge (el típico JS challenge que te pone una pantalla de verificación). He probado con page.goto(), esperando a que cargue, con tiempos de espera aleatorios... y nada. A veces pasa, otras veces se queda colgado para siempre. He leído que Cloudflare detecta el comportamiento no humano aunque uses Playwright con headless=False. ¿Alguien ha logrado sortearlo de manera fiable? Estoy a punto de tirar la toalla.

Jewelry

He tenido el mismo problema. El truco está en emular un perfil de navegador real. Usa playwright.firefox.launch(persistent_context=True, user_data_dir='./user_data') y carga un perfil que hayas usado manualmente antes para que tenga cookies y sesiones válidas. También ayuda rotar User-Agents y añadir page.route para bloquear requests de telemetría.

MusicFan

Lo que dices no es suficiente. Cloudflare analiza el fingerprint completo del navegador (WebGL, canvas, audio, etc.). Necesitas parchear Playwright con herramientas como playwright-stealth o undetected-playwright. Yo uso esto y el challenge se resuelve en segundos:

from undetected_playwright import sync_playwright

Eso sí, ten cuidado con las actualizaciones porque Cloudflare cambia su algoritmo cada poco.

FoodLover

Gracias por las sugerencias. Probé undetected-playwright y mejoró, pero seguía colgándose en algunos casos. El problema era que, aunque pasaba el challenge, luego la página cargaba scripts de terceros que bloqueaban el proceso. Al final encontré la solución: interceptar y abortar todas las requests que no sean del dominio objetivo justo después de pasar el challenge. Algo así:

page.route('**/*', lambda route: route.abort() if route.request.url.startswith('https://www.objetivo.com') else route.continue_())

Esto eliminó los cuelgues por completo.

Data

Interesante, pero abusar del route.abort() puede hacer que Cloudflare sospeche aún más porque el navegador no carga recursos esperados. Yo recomendaría usar page.route solo para bloquear analíticas y publicidad, y dejar que los CDN y fuentes carguen. Además, añade un page.wait_for_timeout(2000) después de resolver el challenge para asegurar que todo se estabiliza.

Designer

Otra opción es usar Selenium con undetected-chromedriver en vez de Playwright. He leído que es más tolerante con Cloudflare, aunque es más lento. Lo que a mí me funcionó fue combinar Playwright con un proxy rotatorio y un pool de User-Agents. Pero, ¿alguien ha probado a usar curl_cffi? Es una librería que imita el handshake de TLS de Chrome, y he visto que pasa el challenge sin necesidad de navegador.

Podcasts

Yo también estoy atascado con esto. He intentado lo de los perfiles persistentes pero el sitio detecta que es un perfil clonado. Lo que sí he notado es que si uso Playwright con Chromium en vez de Firefox, el challenge se resuelve más rápido. Pero aún así, a veces se queda la página en blanco. ¿Alguien sabe cómo forzar la resolución del challenge con un timeout y reintento?

FoodLover

Totalmente de acuerdo con lo de no abortar todo. Al final opté por una estrategia mixta: uso undetected-playwright con un perfil persistente (creado manualmente), bloqueo solo requests de tracking con un patrón, y después del challenge espero a que aparezca un elemento específico de la página (un div con id 'content'). Si no aparece en 10 segundos, recargo la página con un nuevo proxy. Llevo días sin cuelgues. El código resumido:

page.wait_for_selector('#content', timeout=10000).click()

Gracias a todos por las ideas, me ayudaron a depurar el problema.