GCP/Spark and BigQuery Data Engineer

Description:

We are building cutting-edge data solutions that introduce next level automations and aim for low-code/no-code data platforms that allows our customers to deliver fast while hiding all the engineering complexities behind.

If you are not afraid of any engineering task, likes to build cool stuff and enjoy when customers use your craft – you belong with us.

• Proven experience with Big Data projects and in depth knowledge with GCP BigQuery. Certifications are desired
• Experience building cloud-scalable, real-time and high-performance Data Solutions of 3+ years.
• Programming Skills with Spark, Python.
• Solid engineering foundations (good coding practices, good architectural design skills).
• Proven experience with building data pipelines, preferably with Airflow/Composer, Dataform/DBT, Spark, Dataplex
• Solid cloud development experience in GCP (and/or others). Certifications are desired
• Advanced SQL knowledge and capabilities
• Big Advantage – Experience with Databricks
• Experience or knowledge in AI/GenAI/ML/MLOps/LLM - advantage

Team player, positive, likes to dream big and fulfill dreams all at the same time

תפקיד ה‑DataOps מתמקד בהקמה, תפעול ותחזוקה של תשתיות הדאטה הארגוניות, המשמשות תהליכי BI, אנליטיקה, API ופתרונות AI. בעל/ת התפקיד אחראי/ת על זמינות, יציבות ואמינות התשתיות, על סביבת הענן (Azure), ועל הכלים והפלטפורמות שעל גביהם פועלים תהליכי דאטה שפותחו על‑ידי גורמים פנימיים וחיצוניים.
הדגש בתפקיד הוא על תשתית, תפעול והנגשת היכולת (Enablement)ולא על פיתוח לוגיקה עסקית או כתיבת תהליכי ETL, Streaming או API בפועל.
תחומי אחריות
הקמה, תפעול ותחזוקה של תשתיות דאטה ארגוניות בענן Microsoft Azure
אחריות תשתיתית על סביבת Microsoft Fabric לשימוש צוותי BI,אנליסטים ו‑AI
ניהול והפעלה של תשתיות תומכות לתהליכי ETL/ELT (סביבות עבודה, הרשאות, קיבולת, זמינות)
תמיכה תשתיתית בפתרונות Data Streaming ו‑ Event‑Driven Architecture
הקמה ותחזוקה של מנגנוני ניטור, לוגים, התראות ואירועים עבור תהליכי דאטה
עבודה בצמוד לצוותי תשתיות ו-devops לטובת חשיפת נתונים באמצעות API:
API Gateway, ניהול גישות והרשאות
ביצועים, זמינות ושרידות
תיעוד, גרסאות ומדיניות שימוש
תמיכה תשתיתית ב‑GraphQL:
תצורה, אבטחה והרשאות
ניטור עומסים ושימוש
זמינות והמשכיות שירות
הבטחת איכות שירות (SLA), זמינות ואמינות של שירותי דאטה ו‑API
עבודה שוטפת מול אנליסטים, צוותי פיתוח, ספקים חיצוניים וגורמי אבטחת מידע
יישום ותחזוקה של הרשאות, אבטחת מידע ורגולציה,בהתאם למדיניות ארגונית
תיעוד תשתיות, סטנדרטים ונוהלי עבודה