Data Engineer

מהנדס/ת Data עם ניסיון מוכח בפיתוח והובלת פרויקטים מורכבים מקצה לקצה (E2E) בעולם ה - Big Data כולל עיבוד נתונים, תשתיות, מידול וארכיטקטורה.

אנחנו מחפשים מישהו עם ראש גדול, יכולת למידה עצמית , שמסוגל להכתיב כיוון ולהיות חלק משמעותי בצוות.

בדגש על הכלים הבאים: פלטפורמת Databricks ,Kafka , azure devOps /GitHub ואפליקציות ענן שונות תוך שימוש בטכנולוגיות מתקדמות ליצירת פתרונות data בקנה מידה גדול וזמן אמת.

דרישות סף:

תואר במדעי המחשב/הנדסה/ data science / מערכות מידע או תחום רלוונטי אחר - חובה.

לפחות 5 שנות ניסיון כמהנדס/ת דאטה עם דגש על אינטגרציית נתונים ופיתוח תהליכי ETL/ELT בענן, כולל ניהול ואופטימיזציה של ביצועים- חובה.

ניסיון מוכח בפיתוח בפלטפורמת Databricks של שנתיים לפחות - חובה.

ניסיון בפיתוח ב- Python - לפחות שנתיים - חובה.

SQL ברמה גבוהה- חובה

שליטה במתודולוגיות DWH/DATA LAKE (ארכיטקטורת Data ומידול נתונים)

ניסיון ואופטימיזציה של משאבי ענן /FinOps - יתרון

תחומי אחריות:

תכנון, פיתוח ותחזוקה של pipelines מורכבים בDatabricks (PySpark/SQL).

יישום פתרונות Data Lakehouse על גבי Azure באמצעות Delta Lake.

אינטגרציה עם מערכות ענן (Azure Data Factory, Azure Synapse, Event Hub).

ניהול גרסאות קוד ו-Asset Bundles באמצעות Repos ו-Git.

הטמעת תהליכי CI/CD באמצעות Azure DevOps או GitHub Actions.

שיפור ביצועים, אופטימיזציה של קוד ופתרון תקלות בסביבת Spark.

עבודה מול צוותי Data Science ו-BI לשילוב מודלים וויזואליזציות.