Für einen unserer Kunden sind wir auf der Suche nach einem Big Data Berater (m/w)

Projektbeschreibung:
 

• Mitarbeit bei der Entwicklung und Validierung von Data Science Applikationen

• Entwicklung von Big Data ETL pipelines (Streaming / Batch) auf Basis gängiger AWS Services & open source Frameworks (Hadoop, Hive, Python, Spark, EMR, Kinesis, Lambda)
  • Insb. Data Cleansing
  • Performance- und Kosteneffizienz
  • Bereitstellung der Daten- & Aggregationslayer
  • Data Governance (insb. in AWS)
  • Erstellung von zugehörigen Monitoring & Alerting-Mechanismen & Dashboards
• Entwicklung von SQL Statements auf Basis spezifischer Anforderungen und Speicherung der Ergebnisse in SQL Datenbanken
• Prüfung der Ergebnisqualität anhand von Anwendungsfällen
• Erstellung von Dokumentationen

 
Anforderungen:
 

• Mindestens 1 Jahr Erfahrung mit Big Data Technologien insb. Spark (Scala + PySpark), Yarn, Hive, Hadoop
• Gute Kenntnisse von AWS Services, insb. EMR, EC2, S3 
• Sehr gute Kenntnisse von SQL 
• Affinität zur Funktionalen Programmierung (insb. in Scala und Python) und Scala OOP
• Gute Kenntnisse von Scala, vorteilhaft sind Kenntnisse in Java
• Erfahrung in der Erstellung von den JAR-libraries aus Scala code
• Sicher in Linux und Scripting mit bash und Python
• Erfahrung in Reporterstellung in Web- Dashboards 
• Mehrjährige Berufserfahrung im IT-Bereich 
• Gute Kommunikationsfähigkeiten in Deutsch und Englisch

Projektsprachen: Deutsch und Englisch
Einsatzort: München
Dauer: 3 Monate+
Anfang: 21.05.2018