Data Engineer

המומחים של כלנית מגייסים Data Engineer שיהיה אחראי על פיתוח ותחזוקה של תשתיות דאטה מתקדמות, כולל תהליכי Streaming ו-ETL, אינטגרציה בין מערכות, ושיפור מתמיד של ביצועי עיבוד הנתונים בארגון.
התפקיד כולל מומחיות בטכנולוגיות דאטה מתקדמות או לחלופין התמקצעות עמוקה בתפיסת DevOps.

תחומי אחריות מרכזיים:
פיתוח ותחזוקה של תהליכי ETL מורכבים ב-Apache NiFi ו-Apache Spark
פיתוח תהליכי Real-Time Data Processing ב-Apache Flink
ניהול וטיוב נתונים בעזרת ElasticSearch
כתיבת שאילתות מתקדמות וייעול ביצועים על בסיסי נתונים רלציוניים ולא רלציוניים
פיתוח פתרונות דאטה וקוד ב-Python
עבודה בשיתוף פעולה עם צוותי Data Science, BI ופיתוח מערכות מידע
דרישות התפקיד
ניסיון של 5+ שנים בתחום הפיתוח הרלוונטי
לפחות 3+ שנים כמהנדס דאטה (Data Engineer) עם התמחות באחד או יותר מהכלים:
Apache Spark
Apache NiFi
Apache Flink

ניסיון משמעותי בפיתוח ב-Python לבניית Data Flows
הבנה מעמיקה בארכיטקטורת דאטה ובתשתיות Big Data
ניסיון בעבודה עם ElasticSearch – כולל כתיבת שאילתות, אופטימיזציה וניהול אינדקסים
ניסיון בכתיבת Aggregation Pipelines ב-MongoDB
כתיבת שאילתות SQL מורכבות ואופטימיזציה
ניסיון בסביבת Cloudera CDP, עבודה עם Kafka
שילוב מודולי AI בפתרונות דאטה
ניסיון בפיתוח מיקרו-שירותים (Microservices) ובעבודה עם OpenShift
ניסיון עם כלי ניהול תצורה
היכרות עם כלי BI כמו:
SSAS
DataStage
דרישות השכלה:
תואר ראשון במדעי המחשב / הנדסת מחשבים או
תואר ראשון אחר + קורסים בהיקף של 300+ שעות בתחום מערכות מידע או
תואר הנדסי הכולל 200+ שעות לימוד בתוכנה או הנדסאי בוגר מגמת מחשבים/טכנולוגיה