ארגון ממשלתי מחפש מהנדס נתונים לרמת גן!

תיאור התפקיד: Data Engineer מוכשר/ת ובעל/ת ניסיון, להובלת תהליכי הטרנספורמציה הדיגיטלית והעברת מאגרי הנתונים הארגוניים לסביבת Google Cloud Platform) GCP). התפקיד כולל פיתוח פתרונות ETL/ELT, הטמעה והתמחות בכלי הענן של גוגל, במטרה לבנות ארכיטקטורת נתונים מודרנית, מונעת ביצועים ויעילה. בואו להיות שותפים במימוש פרויקטים משמעותיים בארגון יציב, בתנאי העסקה מעולים וסביבת עבודה נעימה!
העברת נתונים (Migration): הובלת תהליך העברת (Ingestion) מאגרי נתונים קיימים מסביבת On-Premise (מערכות ליבה) אל סביבת הענן ב- GCP.
פיתוח שכבות נתונים (Silver & Gold): תכנון ופיתוח שכבות הנתונים המעובדות (Data Marts) בתוך BigQuery, תוך יישום ETL/ELT לוגיקה עסקית מורכבת באמצעות תהליכי ETL/ELT.
אורקסטרציה ותזמון (Orchestration): פיתוח ותחזוקה של תשתיות תזמון ותיאום התהליכים (Pipelines) באמצעות כלי GCP יעודיים (Cloud Composer / Apache Airflow כגון)
טרנספורמציות וטיוב (Transformation & Quality): פיתוח קוד וסקריפטים ב-Dataform לביצוע טרנספורמציות מורכבות, ניקוי, איחוד ושיפור איכות הנתונים (Data Quality).
אופטימיזציה: כתיבת שאילתות וקוד יעיל ב-BigQuery( SQL תוך התחשבות בעלויות ובביצועים.
תיעוד: יצירת תיעוד טכני מלא ועדכני של ארכיטקטורת הנתונים והתהליכים.
דרישות התפקיד:
5 + שנות ניסיון בפיתוח Data Engineering
ניסיון מעשי משמעותי בפיתוח והטמעה בסביבת Google Cloud Platform) GCP) – חובה.
ניסיון עמוק בפיתוח מודלי נתונים, כתיבת שאילתות מורכבות (SQL) ואופטימיזציה ב -BigQuery – חובה.
שליטה גבוהה ב-Python (לצורך פיתוח טרנספורמציות ותהליכי ETL/ELT).
היכרות עם כלי ניהול קוד (Git) וסביבות CI/CD.
ניסיון בכלי אורקסטרציה ו-Workflow Management (כגון Cloud Composer, Apache Airflow או כלים דומים).
ניסיון קודם בהעברת (Migration) נתונים ממערכות Legacy (כגון Mainframe, Oracle) לענן - יתרון.
יכולת עבודה עצמאית והובלת משימות מקצה לקצה.
גישה פרואקטיבית וסקרנות טכנולוגית ללמידת כלי ענן חדשים.
יכולת עבודה מולטידיסיפלינרית עם אנליסטים, מדעני נתונים ומפתחים.
תקשורת בין אישית גבוהה.