jobify_logo ×
  • מִשׁתַמֵשׁ
  • התחברות/הרשמה
  • עמוד הבית
  • מי אנחנו
  • מעסיקים מובילים
  • פרסום משרה חינם
  • צרו קשר
  • תנאי שימוש
  • מדיניות פרטיות
  • הצהרת נגישות
קרן עזריאלי טקסט בעברית עם סמל אינסוף social_security the_israeli_employment_service work_office המקום
jobify_logo
  • מי אנחנו
  • מעסיקים מובילים
  • פרסום משרה חינם
  • צרו קשר
דילוג לתוכן

עדיין מחפשים עבודה במנועי חיפוש? הגיע הזמן להשתדרג!

במקום לעבור לבד על אלפי מודעות, Jobify מנתחת את קורות החיים שלך ומציגה לך רק משרות שבאמת מתאימות לך.

מעל 85,000 משרות • אלפי משרות חדשות בכל יום
חינם. בלי פרסומות. בלי אותיות קטנות.

DOCX, DOC, PDF - בעברית או באנגלית

כבר העליתם קו"ח בעבר? כניסה

AI Evaluation & Automation Engineer

REAL

REAL REAL

  • תל אביב - יפו
  • LinkedIn
LinkedIn

AI Evaluation & Automation Engineer

REAL

REAL REAL

  • תל אביב - יפו
  • bag_icon מלאה
  • coins_icon 22,000-30,000 ₪ שכר משוער (AI)
    השכר המצוין אינו פרסום של המעסיק
  • LinkedIn
LinkedIn


REAL is building an AI Execution Platform for real estate organizations.

Today, the data required to run real estate is scattered across fragmented systems, leading to missed insights and preventable financial leakage.

REAL transforms this complexity into connected intelligence and automated execution, enabling enterprises to operate with greater precision and confidence.

REAL Values

Ownership: We take responsibility and move decisively.

Clarity: We simplify complexity to deliver meaningful impact.

Accuracy: Precision matters in everything we build.

Velocity: We work with urgency and intent.

Partnership: We collaborate closely with customers and teammates.

Role Overview

Own the systems that define, measure, and enforce AI quality at REAL.

Translate ambiguous model behavior into measurable signals, automated tests, and release gates.

Operate across evaluation design, tooling, and production integration.

What You'll Do

  • Design evaluation architectures (benchmarks, regression suites, coverage)
  • Build automated pipelines to run and score evals across models and prompts
  • Implement scoring systems (LLM-as-judge, rubrics, hybrid approaches)
  • Create and maintain golden datasets + edge-case suites
  • Develop internal tools for prompt testing, dataset generation, experiment tracking
  • Instrument systems for traces, outputs, and debugging
  • Detect regressions and enforce quality gates in CI/CD
  • Monitor model performance in production
  • Close the loop between eval insights and product improvements

Requirements

What We're Looking For

  • 3-6 years in QA automation, dev tooling, or backend engineering
  • Strong Python, production-level systems experience
  • Built testing frameworks or validation systems end-to-end
  • Hands-on with LLMs / RAG / agent workflows
  • Understands eval methods (benchmarking, A/B, LLM-as-judge, HITL)
  • Experience with observability / logging / experiment tracking
  • Strong systems thinking (coverage, reliability, reproducibility)
  • Comfort with non-deterministic systems

Nice to Have

  • Experience with eval tools (LangSmith, W&B, MLflow, custom stacks)
  • CI/CD integration for model evaluation
  • Background in search, retrieval, or document systems
  • Built internal platforms or developer tools
  • Experience working in startups and business driven environments


במקום לעבור לבד על אלפי מודעות, Jobify מנתחת את קורות החיים שלך ומציגה לך רק משרות שבאמת מתאימות לך.

מעל 85,000 משרות • אלפי משרות חדשות בכל יום
חינם. בלי פרסומות. בלי אותיות קטנות.

DOCX, DOC, PDF - בעברית או באנגלית

כבר העליתם קו"ח בעבר? כניסה

שאלות ותשובות עבור משרת AI Evaluation & Automation Engineer

מהנדס/ת AI Evaluation & Automation בחברת REAL אחראי/ת על בניית ותחזוקת המערכות המגדירות, מודדות ואוכפות את איכות ה-AI בפלטפורמת ביצועי ה-AI של החברה. התפקיד כולל תרגום התנהגות מודלים מעורפלת לאותות מדידים, בדיקות אוטומטיות ושערי שחרור, תוך עבודה על תכנון הערכה, כלים ואינטגרציה לייצור.

לתפקיד מהנדס/ת AI Evaluation & Automation ב-REAL נדרשות 3-6 שנות ניסיון באוטומציית QA, כלי פיתוח או הנדסת Backend, עם מומחיות בפייתון וניסיון במערכות ברמת ייצור. חשוב להכיר LLMs, RAG וזרימות עבודה של סוכנים, ולהבין שיטות הערכה שונות. כמו כן, נדרשת יכולת חשיבה מערכתית חזקה (כיסוי, אמינות, שחזור) ונוחות בעבודה עם מערכות לא ודאיות.

מהנדס/ת AI Evaluation & Automation בחברת REAL תורם/ת לשיפור מתמיד של מוצרי ה-AI על ידי תכנון ארכיטקטורות הערכה, בניית צינורות אוטומטיים להרצת וניקוד הערכות, הטמעת מערכות ניקוד ויצירת מערכי נתונים איכותיים. בנוסף, התפקיד כולל פיתוח כלים פנימיים לבדיקת פרומפטים, ניטור ביצועי מודלים בייצור וסגירת הלולאה בין תובנות הערכה לשיפורים במוצר, מה שמבטיח איכות ודיוק בפלטפורמת ה-AI של החברה.

משרות נוספות מומלצות עבורך
  • רשימת משאלות

    **דרוש /ה מפתח /ת תוכנה - בדיקות ואוטומציה**

    • map_icon ירושלים
    TOP SOFT טופ סופט - השמה ומיקור חוץ

    TOP SOFT טופ סופט - השמה ומיקור חוץ

  • רשימת משאלות

    בודק/ת תוכנה ידני ואוטומציה

    • map_icon ירושלים
    אלעד

    אלעד

  • רשימת משאלות

    SW QA Engineer (Continuous Integration team)

    • map_icon קיסריה
    Harmonic

    Harmonic

  • רשימת משאלות

    Software Validation Engineer

    • map_icon יקנעם עילית
    NVIDIA

    NVIDIA

  • רשימת משאלות

    QA Engineer – Firmware Team

    • map_icon רעננה
    DRIVENETS

    DRIVENETS

  • רשימת משאלות

    Quality Assurance Automation Engineer

    • map_icon הרצליה
    Questar Auto Technologies

    Questar Auto Technologies

לכל המשרות של מהנדס אוטומציה

הכשרות רלוונטיות

מכללת האקריו

מכללת האקריו

קורס מפתחי אוטומציה ל-QA

  • ערב
  • clk_icon 6 חודשים
מכללת האקריו

מכללת האקריו

קורס מפתחי אוטומציה ל-QA

  • map_icon רמת גן
  • ערב
  • clk_icon 5 חודשים
בכיר - מרכז הכשרה

בכיר - מרכז הכשרה

קורס פיתוח אוטומציה

  • map_icon בני ברק
  • ערב
  • clk_icon 7 חודשים
Real Time College

Real Time College

קורס אוטומציה

  • map_icon תל אביב - יפו
  • בוקר
  • clk_icon 10 חודשים
  • השמה השמה

ניתן לצפות במשרות שסימנת בכל שלב תחת התפריט הראשי בקטגוריית 'משרות שאהבתי'

המקום קרן עזריאלי טקסט בעברית עם סמל אינסוף
  • מי אנחנו
  • מעסיקים מובילים
  • פרסום משרות בחינם למעסיקים
  • צרו קשר
  • תנאי שימוש
  • מדיניות פרטיות
  • הצהרת נגישות

2026 Ⓒ ג'וביפיי - כל הזכויות שמורות

קרן עזריאלי טקסט בעברית עם סמל אינסוף social_security the_israeli_employment_service רשות החדשנות work_office המקום
המערכת בונה את הפרופיל התעסוקתי שלך

עוד רגע...

המערכת זיהתה ששינית את הנתונים באזור האישי ומעדכנת את ההמלצות על תפקידים ומשרות בהתאם.

מצטערים, לא הצלחנו לנתח בהצלחה את הנתונים שהזנת.
אתם מוזמנים לנסות להזין שוב או להעלות קובץ קורות חיים במידה ויש לכם.
בהצלחה

הגעת להגבלה היומית של שלושה עדכונים בפרופיל האישי ביום

loader

הבקשה שלך נשלחה בהצלחה!

יש באפשרותך לשלוח בקשה לקבלת ייעוץ אישי ללא עלות מיועצת קריירה.

באפשרותך לשלוח בקשה לקבלת ייעוץ אישי ללא עלות

  • בעיה טכנית

  • סיוע בכתיבת קורות חיים או בהכנה לראיון עבודה

  • התאמה של משרות

  • אחר:

פנייתך נשלחה בהצלחה. נציג מטעם ארגון נכי צהל ייצור איתך קשר בהקדם

כמעט סיימנו

AI Evaluation & Automation Engineer · REAL

מעולה, זה המקום להעלות את הקובץ
(Word או PDF בעברית או באנגלית)

יש לאשר את תנאי השימוש ומדיניות הפרטיות כדי להמשיך