Für einen unserer Kunden sind wir auf der Suche nach einem
Big Data Berater (m/w)
Projektbeschreibung:
- Mitarbeit bei der Entwicklung und Validierung von Data Science Applikationen
- Entwicklung von Big Data ETL pipelines (Streaming / Batch) auf Basis gängiger AWS Services & open source Frameworks (Hadoop, Hive, Python, Spark, EMR, Kinesis, Lambda)
- Insb. Data Cleansing
- Performance- und Kosteneffizienz
- Bereitstellung der Daten- & Aggregationslayer
- Data Governance (insb. in AWS)
- Erstellung von zugehörigen Monitoring & Alerting-Mechanismen & Dashboards
- Entwicklung von SQL Statements auf Basis spezifischer Anforderungen und Speicherung der Ergebnisse in SQL Datenbanken
- Prüfung der Ergebnisqualität anhand von Anwendungsfällen
- Erstellung von Dokumentationen
Anforderungen:
- Mindestens 1 Jahr Erfahrung mit Big Data Technologien insb. Spark (Scala + PySpark), Yarn, Hive, Hadoop
- Gute Kenntnisse von AWS Services, insb. EMR, EC2, S3
- Sehr gute Kenntnisse von SQL
- Affinität zur Funktionalen Programmierung (insb. in Scala und Python) und Scala OOP
- Gute Kenntnisse von Scala, vorteilhaft sind Kenntnisse in Java
- Erfahrung in der Erstellung von den JAR-libraries aus Scala code
- Sicher in Linux und Scripting mit bash und Python
- Erfahrung in Reporterstellung in Web- Dashboards
- Mehrjährige Berufserfahrung im IT-Bereich
- Gute Kommunikationsfähigkeiten in Deutsch und Englisch
Projektsprachen: Deutsch und Englisch
Einsatzort: München
Dauer: 3 Monate+
Anfang: 21.05.2018