Data engineer

תיאור ודרישות משרה

אלעד מערכות מגייסת Data engineer!

תיאור המשרה

דרוש Data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI . אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם Data scientist. עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים – גם בסביבות ענן וגם ב on prem.

דרישות

ניסיון של לפחות 3 שנים כ Data engineer – חובה

ניסיון של 3 שנים עם Python – בדגש על עבודה עם קבצי json ועבודה מול בסיסי נתונים – חובה

ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS – חובה

ניסיון מעשי עם Spark עבור Large scale data – יתרון

ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS – יתרון משמעותי

הבנה עמוקה בתחום של עיצוב, פיתוח ואופטימיזציה של פתרונות מורכבים שמעבירים או מעבדים כמויות גדולות של נתונים

הבנות של טכניקות של אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdf5, delta lake

ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes

ניסיון של כלי data pipelines כמו airflow, Kubeflow

תואר במדעי המחשב. הנדסה .מתמטיקה או סטטיסטיקה – חובה

הבנה של מושגים ותהליכים בתחום machine learning

הכרות עם פתרונות GenAI / prompt engineering – יתרון

• הפניה מיועדת לנשים וגברים כאחד
• רק פניות מתאימות יענו