מהנדס/ת נתונים בכיר/ה (Senior Data Engineer)

לארגון בטחוני במרכז דרוש/ה מהנדס/ת נתונים בכיר/ה (Senior Data Engineer)

אנו מחפשים מהנדס/ת נתונים בכיר/ה מנוסה ומוכשר/ת להצטרף לצוות הנתונים.
בתפקיד זה תהיה/תהיי אחראי/ת על תכנון, פיתוח, הטמעה ותחזוקה של ארכיטקטורות נתונים מורכבות וצינורות נתונים (Data Pipelines) בקנה מידה גדול. התפקיד כולל עבודה צמודה עם צוותי פיתוח, מדעני נתונים ואנליסטים, במטרה לספק פתרונות נתונים אמינים, יעילים ואיכותיים. אם את/ה נלהב/ת מנתונים, אוהב/ת לפתור בעיות מורכבות ויש לך ניסיון מוכח בסביבות Big Data On-Premise, מקומך איתנו!

מה תעשה/תעשי?
תכנון, פיתוח, הטמעה ותחזוקה של צינורות נתונים (Data Pipelines) חזקים ומדרגיים באמצעות Python וטכנולוגיות Big Data (כמו Spark, starburst).
בנייה וניהול של תהליכי ETL/ELT מקצה לקצה, כולל איסוף, טרנספורמציה וטעינה של נתונים ממקורות שונים. הקמה וניהול של תשתית Spark ובניית תהליכי ETL מורכבים.
אופטימיזציה של תהליכי נתונים קיימים לשיפור ביצועים, אמינות ויעילות, תוך עבודה בסביבת On-Premise.
עבודה עם בסיסי נתונים שונים, בדגש על SQL, MongoDB ו-Vertica.
שימוש ב-Apache Airflow לתזמור וניטור זרימות עבודה מורכבות של נתונים.
יישום וניהול כלי ניטור וניהול לוגים, כדוגמת Splunk, כדי להבטיח איכות נתונים גבוהה וזמינות מערכות.
אבטחת איכות הנתונים ופתרון בעיות (Troubleshooting) בתהליכי הנתונים.
שיתוף פעולה הדוק עם צוותי פיתוח, מוצר ומדעני נתונים להבנת צרכים עסקיים ותרגומם לפתרונות נתונים.
(אופציונלי: חניכה והכוונה של מהנדסי נתונים זוטרים, הובלת פרויקטים ספציפיים).
דרישות התפקיד
3-4 שנות ניסיון מוכח כמהנדס/ת נתונים.
ניסיון מעמיק בפיתוח ב-Python ובכתיבת שאילתות SQL מורכבות.
ניסיון משמעותי עם טכנולוגיות Big Data כגון Spark, Vertica -
הקמה תשתיתית
בניית ארכיטקטורה
Best practices
מתודולוגיות פיתוח

ניסיון בעבודה עם כלי BI דוגמת tableau.
ניסיון בהקמה ותחזוקה של סביבות וכלי מחקר - trino, iceberg, starburst.

ניסיון בעבודה עם Apache Airflow לתזמור זרימות נתונים.

היכרות וניסיון עם כלי ניטור מערכות ו/או לוגים כמו Splunk.
ניסיון בעבודה בסביבת kubernetes , היכרות טובה עם פלטפורמת Openshift.
היכרות עם תהליכי ci/cd ויישומם ב- Data Pipelines.
ניסיון עבודה בסביבת On-Premise.

הבנה עמוקה של עקרונות תכנון ארכיטקטורות נתונים ותהליכי ETL/ELT.
יכולת פתרון בעיות גבוהה, חשיבה אנליטית ויכולת למידה עצמית מהירה.
יכולת עבודה עצמאית ובצוות, עם כישורי תקשורת בינאישית מעולים.