Data Engineer

לארגון ממשלתי גדול ומוביל טכנולוגית בתל אביב דרוש/ה Data Engineer!! אנו מחפשים Data Engineer מוכשר/ת ובעל/ת ניסיון, להובלת תהליכי הטרנספורמציה הדיגיטלית והעברת מאגרי הנתונים הארגוניים לסביבת Google Cloud Platform (GCP). התפקיד כולל פיתוח פתרונות ETL/ELT, הטמעה והתמחות בכלי הענן של גוגל, במטרה לבנות ארכיטקטורת נתונים מודרנית, מונעת ביצועים ויעילה. בואו להיות שותפים במימוש פרויקטים משמעותיים בארגון יציב, בתנאי העסקה מעולים וסביבת עבודה נעימה! במסגרת התפקיד: העברת נתונים (Migration): הובלת תהליך העברת (Ingestion) מאגרי נתונים קיימים מסביבת On-Premise (מערכות ליבה) אל סביבת הענן ב-GCP . פיתוח שכבות נתונים (Silver & Gold): תכנון ופיתוח שכבות הנתונים המעובדות (Data Marts) בתוך BigQuery, תוך יישום לוגיקה עסקית מורכבת באמצעות תהליכי ETL/ELT. אורקסטרציה ותזמון (Orchestration): פיתוח ותחזוקה של תשתיות תזמון ותיאום התהליכים (Pipelines) באמצעות כלי GCP ייעודיים (כגון Cloud Composer / Apache Airflow). טרנספורמציות וטיוב (Transformation & Quality): פיתוח קוד וסקריפטים ב-Dataform לביצוע טרנספורמציות מורכבות, ניקוי, איחוד ושיפור איכות הנתונים (Data Quality). אופטימיזציה: כתיבת שאילתות וקוד יעיל ב-BigQuery (SQL) תוך התחשבות בעלויות ובביצועים. תיעוד: יצירת תיעוד טכני מלא ועדכני של ארכיטקטורת הנתונים והתהליכים. דרישות: השכלה רלוונטית ניסיון מוכח: 3+ שנות ניסיון בפיתוח Data Engineering. ניסיון מעשי משמעותי בפיתוח והטמעה בסביבת Google Cloud Platform (GCP) – חובה. ניסיון עמוק בפיתוח מודלי נתונים, כתיבת שאילתות מורכבות (SQL) ואופטימיזציה ב -BigQuery – חובה. שליטה גבוהה ב-Python (לצורך פיתוח טרנספורמציות ותהליכי ETL/ELT). היכרות עם כלי ניהול קוד (Git) וסביבות CI/CD. ניסיון בכלי אורקסטרציה ו-Workflow Management (כגון Cloud Composer, Apache Airflow או כלים דומים). ניסיון קודם בהעברת (Migration) נתונים ממערכות Legacy (כגון Mainframe, Oracle) לענן - יתרון