Data Engineer

מהנדס/ת נתונים/ Data Engineer

רמת גן/ משרה מלאה/ היברידיות 3 פעמים בשבוע

תיאור התפקיד:

הובלת תהליכי טרנספורמציה הדיגיטלית והעברת מאגרי הנתונים הארגוניים לסביבת GCP.

פיתוח פתרונות ETL/ELT, הטמעה והתמחות בכלי הענן של גוגל, במטרה לבנות ארכיטקטורת נתונים מודרנית, מונעת ביצועים ויעילה.

העברת נתונים (Migration) הובלת תהליך העברת (Ingestion) מאגרי נתונים קיימים מסביבת On-Premise (מערכות ליבה) אל סביבת הענן בGCP.

פיתוח שכבות נתונים (Silver & Gold) תכנון ופיתוח שכבות הנתונים המעובדות (Data Marts) בתוך BigQuery, לוגיקה עסקית מורכבת באמצעות תהליכי תוך יישום תהליכי ETL/ELT.

אורקסטרציה ותזמון (Orchestration) פיתוח ותחזוקה של תשתיות תזמון ותיאום התהליכים (Pipelines) באמצעות כלי GCP ייעודיים (Cloud Composer / Apache Airflow).

טרנספורמציות וטיוב (Transformation & Quality) פיתוח קוד וסקריפטים ב-Dataform לביצוע טרנספורמציות מורכבות, ניקוי, איחוד ושיפור איכות הנתונים (Data Quality).

אופטימיזציה: כתיבת שאילתות בSQL וקוד יעיל (BigQuery) תוך התחשבות בעלויות ובביצועים.

תיעוד: יצירת תיעוד טכני מלא ועדכני של ארכיטקטורת הנתונים והתהליכים.

דרישות התפקיד:

ניסיון של 4 שנים לפחות בפיתוח Data Engineering - חובה.

ניסיון מעשי משמעותי בפיתוח והטמעה בסביבת GCP - חובה.

ניסיון עמוק בפיתוח מודלי נתונים, כתיבת שאילתות מורכבות בSQL ואופטימיזציה בBigQuery- חובה.

שליטה גבוהה בPython לצורך פיתוח טרנספורמציות ותהליכי ETL/ELT.

היכרות עם כלי ניהול קוד (GIT) וסביבותCI/CD.

ניסיון בכלי אורקסטרציה ו-Workflow Management (כגון Cloud Composer, Apache Airflow או כלים דומים).

ניסיון קודם בהעברת (Migration) נתונים ממערכות Legacy (כגון Mainframe, Oracle) לענן.

יכולת עבודה מולטידיסיפלינרית עם אנליסטים, מדעני נתונים ומפתחים.