Data Engineer

מהנדס/ת נתונים להובלת פרויקט מחסן נתונים חדש – תפקיד מאתגר בסביבה טכנולוגית מתקדמת

אנחנו מחפשים Data Engineer מנוסה להובלת תהליך פיתוח של מחסן נתונים (DWH) מאפס בארגון מוביל. אם יש לך ניסיון מעמיק בעולם ה-Big Data, עבודה עם Spark ו-Kafka, ואת/ה מחפש/ת את האתגר הבא שלך – זו ההזדמנות שלך להשפיע באמת.

🧩 מה תעשה בתפקיד:

• הובלת תכנון ופיתוח של מחסן נתונים חדש מאפס (Data Warehouse)
• פיתוח Pipelines לעיבוד אצווה (Batch) עם Apache Spark על בסיס זרמים מ-Kafka
• מידול נתונים ברמה גבוהה תוך שמירה על ביצועים, סקייל ובקרת איכות
• שימוש ב-Trino כמנוע שאילתות וב-Apache Iceberg לניהול נתונים
• עבודה עם AWS S3 בפורמט Parquet
• שיתוף פעולה עם צוותי Data Science, BI ופיתוח
• תיעוד טכני וכתיבת Best Practices לפיתוח ותחזוקה

✅ דרישות:

• לפחות 3 שנות ניסיון בפיתוח DWH מאפס בסביבת Big Data
• ניסיון ב-Apache Spark (רצוי PySpark/Scala)
• ידע וניסיון בעבודה עם Kafka
• SQL ברמה גבוהה + אופטימיזציה של שאילתות
• ניסיון עם AWS S3 ופורמט Parquet
• הכרות עם Apache Iceberg ו-Trino – יתרון משמעותי
• ניסיון בבניית מודלים רב-ממדיים
• עבודה עם Git ו־CI/CD
• יתרון: ידע ב-Terraform, Kubernetes, DataOps, פיתוח API-ים מבוססי נתונים