Für unseren Kunden in München sind wir aktuell auf der Suche nach einem Data Engineer  (m/w/d).

Falls Sie die folgende Projektbeschreibung interessiert und Sie die Anforderungen ausreichend abdecken, bitten wir Sie um kurzfristige Rückmeldung unter Angabe Ihrer Kontaktdaten, Ihrer Konditionen für den genannten Einsatzort (Stunden- oder Tagessatz) sowie Ihres Profils (vorzugsweise in Word).

Projektstandort: München (100% on-site)

Dauer: 01.08.2019 - ca. Mitte Oktober 2019

Abgabefrist beim Kunden: 17.07.2019 um 17 Uhr

Die externe Fachkraft soll Data Pipelines unter Nutzung von AWS Serverless Tools (S3, Glue, Lambda, Step Functions) entwickeln. Ziel ist die Anwendungsentwicklung und Standardisierung von Stage → Integration →Application layer bei unabhängiger Nutzung con CloudFormation.

Aufgaben:  

1. Entwicklung der zentralisierten Verschlüsselungs- und Entschlüsselungsservices

2. Definition der Rechte und User Gruppen Für Data Hub Layer

3. Überprüfung und Limitierung des Projektbudgets

4. Standardisierung der Streaming Applications (Kinesis Streams). Beaufsichtigung und Standardisierung der kompletten CI/CD Pipeline via Gitlab. Vervollständigung der zusätzlichen Standards und Richtlinien

5. Aufbau von wiederverwendbaren template block für Core Data Lage, sowie spätere Projekte

6. Prototyping von Storage und Applikacation Tools und Methoden

7. Abgleich und gegenseitiger Austausch mit RIO und Data Lab hinsichtlich AWS Data Lake Produktportfolio, Erfahrungen und Lösungen

Anforderungen:

• Spark Expertise in Scala / Python

• Erfahrung in AWS S3, Big Data File Formats (Avro, Parquet), Glue, Glue Data Catalog, Presto, Athena, API Gateway, Lambda, Kinesis Data Streams, Firehose, Analytics, Data Anonymisation (KMS), AWS Step Functions, CICD Pipelines, Docker (Fargate, ECS)

Besonders wichtig für den Kunden ist die Erfahrung mit Scala und AWS Technologien

Für Fragen, Anregungen oder Wünsche stehen wir Ihnen gern zur Verfügung.