עדיין מחפשים עבודה במנועי חיפוש? הגיע הזמן להשתדרג!
במקום לעבור לבד על אלפי מודעות, Jobify מנתחת את קורות החיים שלך ומציגה לך רק משרות שבאמת מתאימות לך.
מעל 85,000 משרות • אלפי משרות חדשות בכל יום
חינם. בלי פרסומות. בלי אותיות קטנות.
DOCX, DOC, PDF - בעברית או באנגלית
כבר העליתם קו"ח בעבר? כניסה
About us
We build the context layer for engineering organizations. We connect code, runtime telemetry, data lineage, and operational systems into one live model of how software runs, then give AI agents that model through chat and MCP.
What you’ll do
- Own the evaluation function for all Cobalt agents: code Q&A, change-impact analysis, incident response, and MCP tool use by coding agents.
- Design and build eval harnesses and benchmarks, with ground truth taken from merged PRs, production traces, and code.
- Define and track agent performance metrics: recall and precision, cost per correct answer, tool-call efficiency, latency, and failure modes.
- Run controlled comparisons across models, prompts, retrieval strategies, and baselines, with statistical rigor.
- Diagnose agent failures in retrieval, reasoning, and tool design, and drive the fixes with engineering.
- Build regression suites in CI that score every model, prompt, and connector change before release.
- Lead external research, including ownership of research papers.
- Set the research agenda and mentor future hires.
Requirements
- 7+ years in ML/NLP research or applied AI, including evaluating LLMs or agents.
- A track record of designing benchmarks: task sampling, contamination control, scoring methods, and power analysis.
- Deep knowledge of agent architectures: tool use, retrieval, multi-step planning, MCP or similar protocols.
- Expert Python, and production-quality eval infrastructure you have shipped.
- Experience leading research projects end to end, from design to publication or product.
Nice to have
- Publications at NeurIPS, ICLR, ACL, ICSE or FSE on LLM evaluation, code intelligence or agents.
- Experience with repo-level code benchmarks (SWE-bench-style).
- Experience with LLM-as-judge methods and their known failure modes.
- A background in distributed systems, observability data, or large codebases.
Why join
- Enterprise ground truth: thousands of repos, live traces and production incidents.
- Your evals decide what ships.
- A founding role in the research function.
במקום לעבור לבד על אלפי מודעות, Jobify מנתחת את קורות החיים שלך ומציגה לך רק משרות שבאמת מתאימות לך.
מעל 85,000 משרות • אלפי משרות חדשות בכל יום
חינם. בלי פרסומות. בלי אותיות קטנות.
DOCX, DOC, PDF - בעברית או באנגלית
כבר העליתם קו"ח בעבר? כניסה
שאלות ותשובות עבור משרת Senior AI Researcher, Evaluation & Agent Performance
בתפקיד זה ב-Cobalt, תוביל את מערך ההערכה (Evaluation) עבור כל סוכני ה-AI של החברה. תהיה אחראי על תכנון ובניית מנגנוני הערכה ומדדים לביצועי סוכנים, כגון ניתוח השפעת שינויים בקוד, תגובה לתקלות ושימוש בכלי MCP. המטרה היא להבטיח את איכות הדיוק, העלות ויעילות השימוש בכלים, תוך שימוש בנתוני אמת ממאגרים וקוד בייצור.
משרות נוספות מומלצות עבורך
-
Senior AI Researcher - Agentic Endpoint Security (Cortex)
-
תל אביב - יפו
Palo Alto Networks
-
-
Senior Applied AI Scientist: Workflow Agents&Prompt Ownership
-
ירושלים
Experis ITR
-
-
Senior Applied AI Researcher
-
תל אביב - יפו
Jones Software
-
-
Senior AI Researcher JB-5377
-
תל אביב - יפו
Recruitx
-
-
Data Science
-
תל אביב - יפו
Sentra
-
-
Senior Applied Scientist- Agentic AI & NLP
-
תל אביב - יפו
Dream
-