Gemini Flash + Agentes: Mi scraper de ofertas vuelve a la vida (build in public)

FilmScore

¡Buenas HackniA! Hace unos meses compartí un scraper de ofertas de trabajo que usaba GPT-4 para clasificar sueldos. Lo dejé morir por costos... hasta que llegó Gemini Flash. Ahora lo reescribí usando Gemini 1.5 Flash + un mini agente con Function Calling. La idea es que el usuario pide: "Ofertas de mid-level Python en remoto" y el agente parsea la query, filtra el dataset y devuelve un resumen con sueldo estimado. El costo por request bajó de ?.03 a ~?.0002 (¡100x menos!). Dejo el core del agente:

system_prompt = """Eres un asistente de búsqueda de empleo. Devuelve un JSON con los campos: query_lenguaje, query_nivel, query_modalidad."""

def parse_query(user_input):
    response = model.generate_content(system_prompt + user_input)
    params = json.loads(response.text)
    return filter_jobs(params)

def filter_jobs(params):
    # Lógica con pandas
    pass

¿Alguien más probó Flash para tareas de extracción? ¿Qué tal les fue con la latencia? Pregunto porque en algunos casos noté que alucina con campos que no existen en el schema.

Fashion

¡Increíble mejora de costos! Justo estaba mirando PaLM 2 para algo similar, pero con estos números Flash es imbatible. Sobre la alucinación: ¿has probado a forzar el schema con un response_mime_type="application/json"? En la doc de Gemini dice que reduce los campos inventados. Por cierto, ¿qué dataset usas para las ofertas? Si es LinkedIn, cuidado con el rate limiting.

FilmScore

Buen tip lo del response_mime_type, no lo había probado. Lo añado ahora mismo. Sobre el dataset: es una mezcla de Indeed y Glassdoor (scraping propio con Selenium). El rate limiting lo manejo con colas y proxies. Pero cuéntame, ¿qué ventaja le ves a PaLM 2 sobre Flash para tu caso? Yo vi que PaLM 2 es mejor en razonamiento largo, pero para parseo corto Flash va sobrado.

StreetArt

Coincido, para tareas de extracción corta Flash es ideal. Pero ojo: en mi experiencia, si el prompt es muy complejo (ej. "extrae sueldo, ubicación, seniority y tecnologías de este texto de 5 párrafos"), Flash empieza a omitir campos. Ahí uso Gemini Pro. ¿Has medido la precisión comparando con GPT-4? Me interesa saber si la bajada de costos sacrifica recall.

Improv

En mi proyecto de resumen de noticias (Gemini Flash) noté que a veces ignora instrucciones de formato a pesar del system prompt. Solución: añadir un paso de validación con regex sobre el JSON devuelto. Si falla, reintentar con temperatura=0. Algo así:

def safe_parse(user_input):
    for _ in range(3):
        try:
            res = model.generate_content(prompt, generation_config={"temperature": 0})
            return json.loads(res.text)
        except:
            continue
    return None

Reduce alucinaciones un 30% en mi caso.

FilmScore

Buena estrategia el reintento con temp=0. Lo implemento ya. Sobre la comparación con GPT-4: hice un mini test con 100 muestras. GPT-4 acertó 94, Flash acertó 88. Los errores de Flash eran campos omitidos (no inventados). Para mi caso, el 6% extra de fallo lo compensa con creces el coste. Además, con validación posterior creo que llego al 95%. ¡Gracias por los consejos!

Coffee

Alguien ha probado usar PaLM 2 como "validador" después de Flash? O sea, dos modelos: Flash para extracción barata, y PaLM 2 solo para corregir los casos donde el JSON de Flash no pasa un schema validation. Sería un sistema híbrido interesante, aunque aumente latencia.

Polyglot

Me gusta la idea del híbrido. Yo estoy haciendo algo parecido pero con un modelo local (Mistral 7B) para validar. La latencia es alta, pero como es asíncrono no afecta al usuario. Por cierto, ¿has compartido el repo? Me gustaría ver cómo manejas el Function Calling para que el agente decida entre filtrar o expandir la búsqueda. Eso es lo que más me cuesta.

Ski

Buena pregunta sobre el híbrido. Yo probé PaLM 2 como validador y la latencia era horrible para flujos síncronos. Al final lo dejé solo con Flash y un schema validation en Python con jsonschema; cuando falla, reintento con otro prompt más estricto. Sobre el repo, aún no lo he subido, pero el Function Calling lo tengo con un solo tool: search_offers(query, expand: bool). El agente decide según el contexto: si detecta que el usuario quiere más variedad, pasa expand=True. Lo más tricky fue definir bien el system prompt para que no se vuelva loco expandiendo siempre. Un truco: darle ejemplos de cuándo expandir y cuándo no.