AI Model Evaluation Specialist (Híbrido | Madrid | GenAI/LLMs)

Buscamos un/a especialista en Evaluación de Modelos de IA con experiencia en GenAI para asegurar la calidad, rendimiento y gobernanza de soluciones basadas en LLMs en entornos productivos.

📍 Ubicación: Madrid (Pozuelo de Alarcón)

📍 Modalidad: Híbrida (alta flexibilidad según el perfil)

💰 Salario: flexible

🚀 Responsabilidades

• Evaluar y comparar modelos LLM (OpenAI, Anthropic, etc.) en términos de calidad, consistencia, latencia y coste, identificando riesgos.
• Monitorizar cambios en modelos (versiones, deprecaciones, ajustes de comportamiento) y analizar su impacto en sistemas productivos.
• Optimizar estrategias de prompting para cada modelo, asegurando estabilidad, eficiencia y reducción de costes.
• Diseñar e implementar frameworks de testing para GenAI: regresión, pruebas de prompts, pipelines de evaluación y dash...