עדיין מחפשים עבודה במנועי חיפוש? הגיע הזמן להשתדרג!
במקום לעבור לבד על אלפי מודעות, Jobify מנתחת את קורות החיים שלך ומציגה לך רק משרות שבאמת מתאימות לך.
מעל 85,000 משרות • אלפי משרות חדשות בכל יום
חינם. בלי פרסומות. בלי אותיות קטנות.
DOCX, DOC, PDF - בעברית או באנגלית
כבר העליתם קו"ח בעבר? כניסה
Senior Agent Quality Engineer
A leading global technology company is seeking a Senior Agent Quality Engineer to lead quality evaluation and continuous improvement of AI agents within an advanced AI-native platform.
This role combines software engineering, AI evaluation framework development, and performance optimization to ensure AI agents deliver reliable, measurable, and high-quality results.
Key Responsibilities
- Design and develop evaluation frameworks to assess the quality and performance of AI agents.
- Build automated evaluation pipelines and implement regression testing.
- Define measurable quality metrics to evaluate AI agent performance.
- Analyze agent execution traces and identify root causes of failures.
- Improve AI agent performance by optimizing prompts, tools, context, and execution frameworks.
- Build realistic testing environments and evaluation scenarios that simulate real-world usage.
- Establish quality gates for AI agent and model releases.
Requirements
- 5+ years of software engineering experience, including at least 3 years in SaaS product companies.
- Proven experience evaluating the quality and performance of LLM-based AI agents in production environments.
- Strong knowledge of evaluation metrics, experimental design, and regression testing.
- Experience analyzing agent execution traces and AI agent outputs.
- Hands-on experience improving AI agent behavior and performance.
- Strong proficiency in Python, TypeScript, or .NET.
- Daily hands-on experience working with AI coding agents.
Nice to Have
- Experience with AI evaluation tools such as Braintrust, LangSmith, or Promptfoo.
- Experience evaluating multi-step AI agents and tool-calling workflows.
- Experience evaluating AI coding agents.
- Experience developing automated AI-powered evaluation systems.
במקום לעבור לבד על אלפי מודעות, Jobify מנתחת את קורות החיים שלך ומציגה לך רק משרות שבאמת מתאימות לך.
מעל 85,000 משרות • אלפי משרות חדשות בכל יום
חינם. בלי פרסומות. בלי אותיות קטנות.
DOCX, DOC, PDF - בעברית או באנגלית
כבר העליתם קו"ח בעבר? כניסה