Efficiëntie door automatisering

De samenwerking tussen Achmea en Data Consulting Group is er al sinds de start van DCG. Een van de vele mooie trajecten in deze samenwerking betreft het standaardiseren en versnellen van de ontwikkeling van applicaties op OpenShift.

“De samenwerking met DCG brengt ons de mogelijkheid om flexibel in te springen op schuivende behoeftes. Het is een meerwaarde om op korte termijn de beschikking te hebben over jong talent met actuele kennis op het gebied van Data Science en Machine Learning Engineering. De pragmatische houding van DCG sluit goed aan op de cultuur van onze organisatie. We werken samen op een no-nonsense manier en dat helpt bij het behalen van resultaten.”

Maarten Mulder Manager Data Science Centraal Beheer

Introductie

Achmea is ver gevorderd als het gaat om data maturiteit. In hun streven om klanten optimaal te bedienen en interne processen te stroomlijnen, maken ze uitgebreid gebruik van data en AI-modellen. Echter, met de toenemende complexiteit en het groeiende aantal modellen, is het beheren van de datastromen een steeds grotere uitdaging geworden. De dataspecialisten creëren applicaties vaak op hun eigen manier, en dat zorgt voor een gefragmenteerde werkwijze die verschilt van persoon tot persoon. Data Consulting Group heeft meegeholpen aan de standaardisatie van werkwijze en versnelling van het ontwikkelen van applicaties op OpenShift.

 

Elke maand was het een tijdrovende klus voor de data scientists om de benodigde modellen te scoren. Dit proces vereiste niet alleen het handmatig downloaden en correct plaatsen van een groot aantal bestanden, maar het vergde ook significante inspanning en tijd. Dit leidde tot vertragingen en verminderde de tijd die beschikbaar was voor andere belangrijke taken.

Oplossing

Om dit proces te stroomlijnen, hebben we de kracht van automatisering ingezet. Door de werkstromen te verplaatsen naar OpenShift, een geavanceerd containerbeheersysteem gebaseerd op Kubernetes dat draait op Azure, hebben we een significante verbetering bereikt. Eerst hebben we het script geoptimaliseerd om overbodig gebruik van resources te vermijden. Resources zijn immers niet gratis, dus belangrijk om hier zo efficiënt mogelijk mee om te gaan. We optimaliseerden het bestaande Python-script door de data op een meer compacte manier in te laden, wat de prestaties verhoogde en de vereiste resources minimaliseerde.

Vervolgens hebben we een Docker Image ontwikkeld en geüpload naar een artifactory, waardoor OpenShift de taken automatisch kan uitvoeren. Er werd gekozen voor een batch job-aanpak, waarbij de job alleen opstart wanneer nodig, waardoor het gebruik van resources wordt gemaximaliseerd tijdens actieve perioden en geminimaliseerd wanneer er geen taken worden uitgevoerd.

 

Resultaten

Dankzij deze aanpak staat er nu altijd een analyse klaar van de meest recente data zonder dat de analisten van Achmea hier nog veel omkijken naar hebben. Dit heeft niet alleen geleid tot snellere en nauwkeurigere dataverwerking, maar ook tot een aanzienlijke tijdsbesparing voor de analisten. Deze tijd kan nu gebruikt worden voor het creëren van nieuwe inzichten en dataproducten. Het laat zien hoe belangrijk het is om voortdurend processen te evalueren en waar mogelijk te automatiseren, zodat er continu tijd overblijft om te innoveren met data.

Meer weten?

Ontdek hoe we je kunnen helpen

Ben je benieuwd hoe we jouw organisatie kunnen helpen met het automatiseren van processen? Of hoe we andere zaken op het gebied van data science en data engineering kunnen optimaliseren? Neem vandaag nog contact met ons op, we helpen je graag.

Adviesgesprek

Kies een datum en tijd die jou het beste uitkomt.

Heb je een specifieke vraag?

Neem gerust contact met ons op.

Bel ons

+31646767800

Op werkdagen bereikbaar van 8:30 uur tot 17:30 uur

Mail ons

info@dataconsultinggroup.nl

Doorgaans kan je binnen 24 uur een reactie verwachten

WhatsApp ons

+31646767800

Op werkdagen bereikbaar van 8:30 uur tot 17:30 uur

Bel of mail ons