Data Engineer

תאריך פרסום: 03/07/25

תיאור המשרה:

• פיתוח ותחזוקה של תהליכי ETL מורכבים באמצעות Apache Nifi ו Spark Apache-
• עבודה עם Apache Flink לפיתוח תהליכי עיבוד נתונים בזמן אמת
• ניהול, עיבוד וטיוב נתונים באמצעות ElasticSearch
• כתיבת שאילתות מורכבות וייעול ביצועים על בסיסי נתונים רלציוניים ולא רלציוניים
• פיתוח פתרונות דאטה וכתיבת קוד ב Python
• עבודה צמודה עם צוותי Science Data ,BI ופיתוח מערכות מידע בארגון.

דרישות המשרה:

ניסיון של +3 שנים כEngineer Data- תוך עבודה משמעותית באחד או יותר מהשירותים הבאים: Apache Spark o NiFi Apache o Flink Apache o
• ניסיון משמעותי בפיתוח בשפת Python לעיבוד נתונים ובניית Flows Data
• הבנה בארכיטקטורת נתונים ותשתיות Data Big כולל אתגרים ופתרונות
• שליטה מלאה ב -SQL
יתרון משמעותי לניסיון בסביבות השפות והכלים:
Aggregation Pipelines וכתיבת MongoDB •
• כתיבת שאילתות SQL מורכבות ואופטימיזציה של ביצועים
• שירותי Cloudera בסביבת CDP Kafka •
• מודולי AI ותהליך שילובם בפתרונות דאטה
• הכרות עם פיתוח לעולם ה Services-Micro בכלל ו OpenShift בפרט
• עבודה עם כלי ניהול תצורה בפיתוח