Data Engineer

לארגון רפואי בבני ברק דרוש/ה Data Engineer

במסגרת התפקיד:
• פיתוח ותחזוקה של תהליכי ETL מורכבים באמצעות Apache Nifi ו Spark Apache-
• עבודה עם Apache Flink לפיתוח תהליכי עיבוד נתונים בזמן אמת
• ניהול, עיבוד וטיוב נתונים באמצעות ElasticSearch
• כתיבת שאילתות מורכבות וייעול ביצועים על בסיסי נתונים רלציוניים ולא רלציוניים
• פיתוח פתרונות דאטה וכתיבת קוד ב Python
• עבודה צמודה עם צוותי Science Data ,BI ופיתוח מערכות מידע בארגון.
דרישות התפקיד
ניסיון של 4 שנים בתחום הData Engineer
מתוכם 3 שנות ניסיון בעבודה משמעותית באחד או יותר מהשירותים הבאים:
Apache Spark o
NiFi Apache o
Flink Apache o
• ניסיון משמעותי בפיתוח בשפת Python לעיבוד נתונים ובניית Flows Data
• הבנה בארכיטקטורת נתונים ותשתיות Data Big כולל אתגרים ופתרונות
• שליטה מלאה ב -SQL
MongoDB וכתיבת Aggregation Pipelines - יתרון
• כתיבת שאילתות SQL מורכבות ואופטימיזציה של ביצועים - יתרון
• שירותי Cloudera בסביבת CDP - יתרון
• Kafka - יתרון
• מודולי AI ותהליך שילובם בפתרונות דאטה - יתרון
• הכרות עם פיתוח לעולם ה Micro-Services בכלל ו OpenShift בפרט - יתרון
• עבודה עם כלי ניהול תצורה בפיתוח - יתרון