עדיין מחפשים עבודה במנועי חיפוש? הגיע הזמן להשתדרג!
במקום לעבור לבד על אלפי מודעות, Jobify מנתחת את קורות החיים שלך ומציגה לך רק משרות שבאמת מתאימות לך.
מעל 85,000 משרות • אלפי משרות חדשות בכל יום
חינם. בלי פרסומות. בלי אותיות קטנות.
DOCX, DOC, PDF - בעברית או באנגלית
כבר העליתם קו"ח בעבר? כניסה
About the Job
We’re looking for a Data Engineer to build and operate ETL pipelines using Python, Apache Airflow, and Kubernetes. You’ll work across the full data pipeline, from ingesting data from source systems to transforming it into curated datasets for analytics. You’ll also monitor pipeline reliability and data freshness in production.
Responsibilities
- Develop Python-based ETL pipelines across source, staging (silver), and curated (gold) layers, including configurable ingestion, data standardization, aggregation, and lineage tracking.
- Design and operate Airflow DAGs for scheduled workflows, incremental loads, and backfills.
- Run and scale containerized data workloads using Docker and Kubernetes, configure resources, and troubleshoot pod and workflow failures.
- Optimize queries and indexes for large analytical datasets in PostgreSQL, SQL Server, and Oracle.
- Monitor pipeline performance and data freshness in production, automate testing and deployment through CI/CD, and validate releases.
Requirements
- Advanced Python skills, including object-oriented development, packaging, type hints, automated testing, logging, and efficient data transformations.
- Hands-on experience with Apache Airflow, including DAG design, scheduling, task dependencies, retries, backfills, pools and queues, incremental loads, and operational troubleshooting.
- Experience with Kubernetes and Docker, including containerized workloads, resource requests and limits, pod diagnostics, scaling, and environment configuration.
- Experience designing ETL pipelines across source, staging (silver), and curated (gold) layers, including parameterized ingestion, data standardization, aggregation, and lineage.
- Strong database engineering skills across PostgreSQL, SQL Server, and Oracle, including query tuning, indexing, and working with large analytical datasets.
- Experience with production observability, including monitoring DAG and task duration, failures, queue wait times, pod health, resource usage, data volumes, throughput, data freshness and latency, and business KPIs.
- Experience with CI/CD using GitHub Actions or an equivalent tool, including writing Dockerfiles, running automated tests, validating deployments, and planning for safe rollbacks.
Nice to Have
- Experience with Parquet, object storage patterns, S3-compatible storage, pandas or PySpark, and data validation in Jupyter.
- Familiarity with medallion architecture, metadata management, data catalogs, tenant isolation, and role-based data access.
- Experience migrating data workflows from Windows Task Scheduler or VM-based environments to services running on Airflow and Kubernetes.
במקום לעבור לבד על אלפי מודעות, Jobify מנתחת את קורות החיים שלך ומציגה לך רק משרות שבאמת מתאימות לך.
מעל 85,000 משרות • אלפי משרות חדשות בכל יום
חינם. בלי פרסומות. בלי אותיות קטנות.
DOCX, DOC, PDF - בעברית או באנגלית
כבר העליתם קו"ח בעבר? כניסה
שאלות ותשובות עבור משרת Data Engineer
כדי להצליח בתפקיד Data Engineer ב-Sela, עליך להפגין שליטה מתקדמת בשפת Python ובבניית תהליכי ETL מורכבים. בנוסף, נדרש ניסיון מעשי בעבודה עם Apache Airflow לניהול זרימת עבודה (DAGs), יכולת תפעול של תשתיות מבוססות Docker ו-Kubernetes, וכן מומחיות במסדי נתונים כמו PostgreSQL, SQL Server ו-Oracle.
משרות נוספות מומלצות עבורך
-
Data Engineer למשרד ממשלתי במרכז ובירושלים
-
תל אביב - יפו
Software AG-SPL
-
-
Data Engineer למשרד ממשלתי במרכז ובירושלים
-
רחובות
Software AG-SPL
-
-
Data Engineer
-
יבנה
sqlink
-
-
Junior Data Science
-
רמת גן
אלעד
-
-
דרוש/ה מהנדס/ת נתונים עם ניהול צוות לארגון ממשלתי
-
רמת גן
דב הלפרין יועצים - hms
-
-
Data Engineer – Leading Company | 5373
-
תל אביב - יפו
INGIMA
-
הרצליה
ערב