Data engineer

דרוש/ה Data engineer להשתלבות בעבודת הצוות ופרויקטים בתחום ה AI בעבודה מול גוף פיננסי גדול . אחריות לקליטה של כמויות גדולות של נתונים חדשים ולאחר מכן להבנה מעמיקה ובחינה של נתונים בשיתוף פעולה הדוק עם Data scientist.
עיצוב ופיתוח של תהליכי דאטה קריטיים, מגוונים וגדולים – גם בסביבות ענן וגם ב on prem
דרישות התפקיד
• ניסיון של לפחות 3 שנים כ Data engineer - חובה
• ניסיון של 3 שנים בפיתוח עם Python - בדגש על עבודה עם קבצי json ועבודה מול בסיסי נתונים - חובה.
• ניסיון מעשי של שנתיים לפחות ב AWS עם services של Athena/Glue/StepFunction/EMR/Redshift/RDS - חובה.
• ניסיון עבודה מול קבצי טקסט למטרות AI ו LLM - יתרון משמעותי.
• ניסיון מעשי עם Spark עבור Large scale data - יתרון משמעותי.
• עבודה מול שירותי REST API - יתרון משמעותי.
• הבנה של טכניקות אופטימיזציה ועבודה עם partitions של סוגים שונים של דאטה כמו parquet, Avro, hdfs, delta lake.
• ניסיון בתפיסה ועבודה עם docker, Linux, CI/CD tools, Kubernetes.
• הכרות עם פתרונות GenAI / prompt engineering – יתרון משמעותי.