PySpark Developer

Wat is je opdracht?

In eerste instantie neem jij de ontwikkeling en het beheer van een holistisch Modern Data Platform gebouwd in de Microsoft Azure Cloud voor je rekening. 

Bovendien ben jij als IT Custodian een belangrijke speler in het Data Platform team. Je bent verantwoordelijk voor de ontwikkeling, de implementatie en de technische optimalisering van de big data pipeline die het platform bevat.

Samen met de Business zorgde onze IT-afdeling voor recordresultaten waar we terecht trots op mogen zijn:

• 470 miljoen e-commercetransacties, met een maximumpiek van bijna 8000 transacties/min,
• 100% beschikbaarheid van de core drawing/gaming engines,
• 99,98% beschikbaarheid van de kanalen,

Het IT-departement is het kloppend hart van de Nationale Loterij dat nauw samenwerkt met de hele organisatie om onze spelers 7 dagen op 7 de beste spelervaring te laten beleven in een veilige omgeving en om te allen tijde onze onfeilbare reputatie hoog te houden. Onze miljoenen spelers, onze vele winnaars en de ontelbare goede doelen die we dagelijks voor meer dan 520.000 euro ondersteunen, rekenen daarop.

Binnen het Data Platform team ben je verantwoordelijk voor de volgende aspecten:

• Je staat in voor het verwerken en het transformeren van gegevens. Met behulp van PySpark voer je de ETL-operaties uit vanuit de verschillende gegevensdatabanken van de Nationale Loterij.
• Je werkt aan het nieuwe, moderne ontwerp van het dataplatform (medallion design) in nauwe samenwerking met de verantwoordelijke solution designer.
• Je optimaliseert de Spark-taken met het oog op betere prestaties en je beheert de resource allocation. 
• Je maakt gegevensanalyses en modelleringen en je werkt samen met de Data Scientists om op grote schaal machine learningmodellen en algoritmes te ontwikkelen. 

Hoe kun jij het verschil maken?

Je hebt een diploma Bachelor of Master of Science in een big data-gerelateerd domein met minstens 5 jaar ervaring in datapipelines en cloudtoepassingen. Bovendien heb je een goede kennis van Python.

Je hebt kennis van de volgende technologieën of concepten:

• Apache Spark, Python, notebooks
• DevOps azure CI/CD pipeline
• Microsoft SQL of DBT 
• Azure Data Platform Stack, waaronder:

1. Synapse Analytics
2. Lakehouse
3. Fabrics
4. Semantic model
5. PBI

• Ervaring met cloud computing, data engineering, big data processing, performance tuning
• Architecture Azure Data Platform

Je bent gedreven en schrikt er niet voor terug om verantwoordelijkheid te nemen binnen een team. Je kunt zelfstandig werken, maar bent tegelijk ook een teamspeler.

Drie redenen waarom deze functie geknipt is voor jou:

• Je bent een expert in Python, je hebt ervaring met Azure- en Fabrictechnologie en met de optimalisering en prestaties van datapipelines.
• Je bent bekend met DevOps methodologie, want deze zul je toepassen in je dagelijkse taken.
• Je bent van nature analytisch aangelegd en je lost graag moeilijke vraagstukken op.

Wat wij je aanbieden

• Aandacht voor jou 

We vinden het belangrijk dat jij het beste uit jezelf kan halen, maar ook dat we het beste uit elkaar kunnen halen. Jouw ontwikkeling bij de Nationale Loterij heb je in je eigen handen. 

• Een goed evenwicht tussen “werk” en “privéleven” 

Bij de Nationale Loterij krijg je interessante aanvullingen op je arbeidsvoorwaarden, zoals 32 vakantiedagen, vlottende arbeidstijden binnen een werkweek van 37,5u, en de mogelijkheid om aan thuiswerk te doen.

• Geld enzo... 

Werken bij de Nationale Loterij is een flinke uitdaging, en daar zetten wij uiteraard iets tegenover. Naast een marktconform salaris met bedrijfswagen ontvang je ook een jaarlijkse bonus, vakantiegeld, een eindejaarspremie, vergoedingen voor woon-werk-verplaatsingen, aanvullende verzekeringen, en nog meer.