Data engineer

דרוש/ה Data engineer מיקום - ירושלים תיאור התפקיד: אנו מחפשים Data Engineer מנוסה להצטרף ליחידת Data &AI , ולהיות פונקציה מרכזית בהקמת Data Lake ארגוני רחב היקף מקצה לקצה בסביבת On-Premise . התפקיד מתמקד בתכנון, פיתוח, ותחזוקת תשתיות נתונים סקיילביליות המבוססות על תשתית Cloudera. זוהי הזדמנות לקחת חלק בצוות המתווה את ארכיטקטורת הנתונים בארגון, לבנות תהליכי קליטה ועיבוד (Pipelines) של נתונים בנפחים גבוהים בסביבה מבוזרת, ולהניח את התשתית הטכנולוגית הנדרשת עבור יכולות אנליטיקה מתקדמות ופיתוח מודלי בינה מלאכותית. לפחות 4 שנות ניסיון מעשי כ Data Engineer או בתפקיד פיתוח Big Data ניסיון מוכח בכלי פיתוח מ Apache Echo System לרבות כלי ליבה כגון : Spark, Hive, Impala שליטה ברמה גבוהה מאוד בפיתוח וכתיבת קוד לבניית תהליכי נתונים (ETL/ELT) באחת מהשפות הבאות : Python, Scala, Java מומחיות בכתיבת שאילתות SQL אנליטיות מורכבות ואופטימיזציית ביצועים בסביבות נתונים מבוזרות . הבנה מעמיקה בארכיטקטורות נתונים מבוזרות (Distributed Systems) ומידול נתונים . ניסיון עם כלי אורקסטרציה וניהול תהליכי עבודה כמו Apache Airflow היכרות וניסיון מעשי עם תהליכי עיבוד נתונים בזרימה (Streaming processing) מבוססי Apache Kafka ניסיון בהכנת תשתיות נתונים לפרויקטים בתחום ה ML/AI