מכרז כללית DATA ENGINEER 149-2025 BIG DATA גוש דן

תיאור תפקיד: Data Engineer

לארגון מוביל דרוש/ה מהנדס/ת דאטה מנוסה לתפקיד מאתגר הכולל עבודה בסביבת Big Data מתקדמת, עם מערכות וטכנולוגיות עיבוד נתונים בזמן אמת. במסגרת התפקיד

• פיתוח ותחזוקה של תהליכי ETL מורכבים באמצעות Apache NiFi ו-Apache Spark
• פיתוח תהליכי עיבוד נתונים בזמן אמת בעזרת Apache Kafka
• ניהול, עיבוד וטיוב נתונים על בסיס Elasticsearch
• כתיבת שאילתות מורכבות וייעול ביצועים על גבי בסיסי נתונים רלציוניים ולא רלציוניים
• פיתוח פתרונות דאטה מקצה לקצה, כולל כתיבת קוד ב-Python
• שיתוף פעולה צמוד עם צוותי BI, Data Science ומערכות מידע לצורך תכנון ובניית פתרונות נתונים מתקדמים
  
  

• ניסיון של לפחות 4 שנים בתפקיד Data Engineer, תוך התמחות מעשית באחד או יותר מהשירותים הבאים:
• Apache Spark
• Apache NiFi
• Apache Kafka
• ניסיון משמעותי בפיתוח בשפת Python לעיבוד נתונים ובניית Data Flows
• הבנה מעמיקה בארכיטקטורת נתונים ותשתיות Big Data, כולל פתרונות לאתגרים בקנה מידה גדול
• שליטה מלאה ב-SQL
  

• ניסיון עם MongoDB וכתיבת Aggregation Pipelines
• כתיבת שאילתות SQL מורכבות ואופטימיזציה של ביצועים
• ניסיון עם שירותי Cloud בסביבת GCP
• עבודה עם Kafka
• ידע במודולי AI והטמעתם בתהליכי דאטה
• ניסיון בפיתוח בסביבת Microservices ו-OpenShift בפרט
• עבודה עם כלי ניהול תצורה (CI/CD, Git, Jenkins וכו')