Data Engineer

לחברה פיננסית בתל אביב דרוש/ה DATA ENGINEER

המיקום סמוך לרכבת, ישנה היברידיות.

תיאור המחלקה:

המחלקה אחראית לשכבת היישומים שמעל ה-DATA  וכל המערכות האנליטיות והניהוליות שמעל המידע האינטגרטיבי, והופכת את הארגון ל-DATA HUB  שבו מנגישים את כל המידע על מנת לבצע אנליזה לכלל הנתונים וכן לתת מענה למגוון רחב של גורמים עסקיים בפרויקטים שהם DATA Oriented.

וכמובן, מדובר בהזדמנות לקחת חלק מטרנספורמציה טכנולוגית מודרנית 

תיאור התפקיד:

פיתוחdata pipeline  בסביבת DATA LAKE מקצה לקצה

פיתוח סקריפטים ב python (בדגש על PySpark )

פיתוח ותחקור נתונים ב SQL

ביצוע בדיקות (unit/integration)

CI/CD

פיתוח תהליכים ב JENKINS

דרישות התפקיד:

לפחות שנת ניסיון בפיתוח ב - PySpark

לפחות 4 שנות ניסיון בפיתוח SQL (יתרון לעולמות ה DATA/BI )

ניסון בכתיבת SQL מורכבים

ידע בעבודה בשפת python  בדגש ע ל ידע בספריות pyspark ו pandas

ידע בניתוח נתונים ותהליכי ETL/ELT

ניסיון עבודה בסביבת DATA LAKE ו DWH

ידע בתהליכי CI/CD

יכולת למידה עצמית גבוהה