Data Engineer

דרוש/ה Data engineer להשתלבות בפרויקטים בתחום ה AI.
התפקיד כולל אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן, להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם Data scientist.
עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים – גם בסביבות ענן וגם ב on prem.
דרישות התפקיד
• ניסיון של לפחות 3 שנים כ Data engineer - חובה
• ניסיון של 3 שנים עם Python - חובה
• ניסיון מעשי עם Spark עבור Large scale data - חובה
• ניסיון של 3 שנים של עבודה עם שפות Object-Oriented Programming (OOP)
• ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS – יתרון משמעותי
• הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים
• הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake
• ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes
• ניסיון של כלי data pipelines כמו airflow, Kubeflow
• הבנה של מושגים ותהליכים בתחום machine learning
הכרות עם פתרונות GenAI / prompt engineering – יתרון
• תואר במדעי המחשב. הנדסה .מתמטיקה או סטטיסטיקה - חובה