Data infrastructure by Azure
Binnen een van de Nederlandse grootbanken wordt hard gewerkt aan het opzetten van een data-driven workflow. Om dusdanig complexe organisaties nog meer data-driven te maken worden verschillende data teams opgezet, waaronder het consumer team.
Grootbanken genereren en verwerken enorm veel data. Dit maakt het proces om alle workflows data-driven te krijgen extra uitdagend. De wens vanuit de opdrachtgever is om zogenaamde consumer teams aan te sluiten op een gecentraliseerde data-infrastructuur. Deze consumer teams voeren diverse analyses uit en maken rapportages door gebruik te maken van voor hen geprepareerde data. De turnaround om van data produceren naar data consumeren te komen Veel processen zijn traditioneel zo ingericht dat het “eindproduct” bruikbare informatie/data is. De essentie binnen dit project (en naar de toekomst) is dat het eindproduct juist weer het begin is van nieuwe informatie, producten of diensten.
Naast de basale best-practices, zoals goede beveiliging en encryptie, moet ook nagedacht worden over andere stappen in de data lifecycle zoals data governance, data lineage en data ownership.
Door de grote hoeveelheden data, gecombineerd met zeer strenge wet- en regelgeving is het extra cruciaal om alle processen ook data-driven in te richten. Hierdoor kan naast de verbetererde consumer workflow ook goed worden voldaan aan de door de ECB opgelegde regels.
De rol van ElastIQ
Onze fitlancer heeft de verantwoordelijkheid om een consumer team aan te sluiten op de bestaande data-infrastructuur. Hiervoor moet een nieuwe verbinding worden ontworpen en gebouwd. Daarnaast zal ook de bestaande infrastructuur moeten worden verbeterd en geoptimaliseerd. Hiervoor is vooral gebruikt gemaakt van Azure Data Factory, Databricks en SQL Server.
Resultaat
Het genoemde consumer team is succesvol aangesloten op de centrale data-infrastructuur door middel van een datamart-oplossing. Daarnaast wordt er verder gewerkt aan het verminderen van technical debt en de verbetering van verschillende processen binnen de data huishouding. Dit stelt het consumer team in staat om ownership te pakken op haar data en hierop nieuwe producten en diensten te ontwerpen.
