Efficiëntie door geautomatiseerde dataverwerking voor Achmea

De samenwerking tussen Achmea en Data Consulting Group is er al sinds de start van DCG. Een van de vele mooie trajecten in deze samenwerking betreft het standaardiseren en versnellen van de ontwikkeling van applicaties op OpenShift.

“De samenwerking met DCG brengt ons de mogelijkheid om flexibel in te springen op schuivende behoeftes. Het is een meerwaarde om op korte termijn de beschikking te hebben over jong talent met actuele kennis op het gebied van Data Science en Machine Learning Engineering. De pragmatische houding van DCG sluit goed aan op de cultuur van onze organisatie. We werken samen op een no-nonsense manier en dat helpt bij het behalen van resultaten.”

Maarten Mulder Manager Data Science Centraal Beheer

Introductie

Achmea is ver gevorderd als het gaat om data maturiteit. In hun streven om klanten optimaal te bedienen en interne processen te stroomlijnen, maken ze uitgebreid gebruik van data en AI-modellen. Echter, met de toenemende complexiteit en het groeiende aantal modellen, is het beheren van de datastromen een steeds grotere uitdaging geworden. De dataspecialisten creëren applicaties vaak op hun eigen manier, en dat zorgt voor een gefragmenteerde werkwijze die verschilt van persoon tot persoon. Data Consulting Group heeft meegeholpen aan de standaardisatie van werkwijze en versnelling van het ontwikkelen van applicaties op OpenShift.

Elke maand was het een tijdrovende klus voor de data scientists om de benodigde modellen te scoren. Dit proces vereiste niet alleen het handmatig downloaden en correct plaatsen van een groot aantal bestanden, maar het vergde ook significante inspanning en tijd. Dit leidde tot vertragingen en verminderde de tijd die beschikbaar was voor andere belangrijke taken.

Oplossing

Om dit proces te stroomlijnen, hebben we de kracht van automatisering ingezet. Door de werkstromen te verplaatsen naar OpenShift, een geavanceerd containerbeheersysteem gebaseerd op Kubernetes dat draait op Azure, hebben we een significante verbetering bereikt. Eerst hebben we het script geoptimaliseerd om overbodig gebruik van resources te vermijden. Resources zijn uiteraard niet gratis, dus belangrijk om hier zo efficiënt mogelijk mee om te gaan. We optimaliseerden het bestaande Python-script door de data op een meer compacte manier in te laden, wat de prestaties verhoogde en de vereiste resources minimaliseerde.

Vervolgens hebben we een Docker Image ontwikkeld en geüpload naar een artifactory, waardoor OpenShift de taken automatisch kan uitvoeren. Er werd gekozen voor een batch job-aanpak, waarbij de job alleen opstart wanneer nodig, waardoor het gebruik van resources wordt gemaximaliseerd tijdens actieve perioden en geminimaliseerd wanneer er geen taken worden uitgevoerd.

Resultaten

Dankzij deze aanpak staat er nu altijd een analyse klaar van de meest recente data zonder dat de analisten van Achmea hier nog veel omkijken naar hebben. Dit heeft niet alleen geleid tot snellere en nauwkeurigere dataverwerking, maar ook tot een aanzienlijke tijdsbesparing voor de analisten. Deze tijd kan nu gebruikt worden voor het creëren van nieuwe inzichten en dataproducten. Het laat zien hoe belangrijk het is om voortdurend processen te evalueren en waar mogelijk te automatiseren, zodat er continu tijd overblijft om te innoveren met data.

Meer weten?

Ontdek hoe we je kunnen helpen

Ben je benieuwd hoe we jouw organisatie kunnen helpen met het automatiseren van processen? Of hoe we andere zaken op het gebied van data science en data engineering kunnen optimaliseren? Neem vandaag nog contact met ons op, we helpen je graag.

Adviesgesprek

Kies een datum en tijd die jou het beste uitkomt.

Heb je een specifieke vraag?

Neem gerust contact met ons op.

Bel ons

+31646767800

Op werkdagen bereikbaar van 8:30 uur tot 17:30 uur

Mail ons

info@dataconsultinggroup.nl

Doorgaans kan je binnen 24 uur een reactie verwachten

WhatsApp ons

+31646767800

Op werkdagen bereikbaar van 8:30 uur tot 17:30 uur

Data-geïnspireerd werken bij de RPO

De RPO had als ambitie om data-analyse meer te integreren in hun werkwijze, zodat zij consumenten beter bereiken en nóg beter kunnen voorzien van relevante content. DCG hielp de RPO met een directe en structurele aanpak.

Hilversum Dutch Media Week RPO foto eric brinkhorst

“DCG heeft ons enorm geholpen om met ons datateam een vliegende start te maken. Met hun expertise en enthousiasme slagen ze erin om waardevolle inzichten te leveren waarmee heel snel eerste verbeteringen zijn te realiseren in onze sites en apps.”

Rudolf van Beijmerwerdt Project Manager Datateam RPO

Introductie

De RPO, het samenwerkings- en coördinatieorgaan voor de dertien regionale publieke omroepen in Nederland, speelt een cruciale rol in het behouden van een onafhankelijke en krachtige regionale journalistieke infrastructuur. Met het oog op het blijvende belang van regionale journalistiek, opereert de RPO vanuit de kernwaarden alertheid, betrokkenheid en verbinding. De RPO signaleerde dat de traditionele benadering van de journalistiek onvoldoende gebruik maakte van de data die beschikbaar is. Dit belemmerde de regionale omroepen in het maximaliseren van hun impact en bereik. Er was een behoefte om data te benutten en zo het publiek beter te begrijpen en te bedienen, wat bij zou dragen aan de impact en het bereik van de regionale journalistiek te vergroten.

Hier zag de RPO een belangrijke kans voor de regionale omroepen: door data-analyse te integreren in hun werkwijze, konden ze hun nieuwsvoorziening verfijnen, zodat consumenten het nieuws ontvangen op de manier die zij prefereren. De uitdaging was duidelijk: de transformatie van een traditionele, minder data geïnspireerde aanpak naar een model dat optimaal gebruikmaakt van data om de consumenten beter te bedienen.

Oplossing

Data Consulting Group ondersteunde de RPO met deze transformatie volgens een tweesporenbeleid, namelijk directe vooruitgang in data-analyse via interiminzet van onze consultants en parallel hieraan verzorgden we de weving en selectie van vaste dataspecialisten. Hierdoor zorgden we ervoor dat de omroepen direct significante stappen maakten met het integreren van data-analyse in hun werkwijze en werd er tegelijkertijd gewerkt aan een structurele oplossing.

Nadat we op de redacties de databehoefte in kaart hebben gebracht door op zoek te gaan naar de data gerelateerde vraagstukken binnen de omroepen zijn we aan de slag gegaan met het maken van verschillende analyses om inzicht te geven in het huidige online gedrag van bezoekers van de websites en apps van de omroepen. Hiermee kregen de redacteuren meer zicht op waar, wanneer en hoe de gemaakte verhalen door de lezers geconsumeerd worden en konden ze die inzichten gebruiken om onder andere de publicatiestrategieën te optimaliseren. Door de resultaten van de analyses te vertalen naar direct toepasbare acties konden we de rest van de redactie meenemen in onze bevindingen en er zo voor zorgen dat er een op data geïnspireerde onderbouwing was voor het maken van beslissingen tijdens hun redactionele werkzaamheden.

Resultaten

Met de tools en standaardanalyses die we hebben opgeleverd konden de collega data analisten snel aan de slag met het procesmatig uitvoeren van analyses en het verzamelen van gegevens, zodat ze dit niet zelf opnieuw hoefden op te zetten. Deze kennisdeling zorgde ervoor dat het datateam snel en efficiënt de gehele RPO kan ondersteunen in het data geïnspireerd werken.

Wanneer de redacteuren of andere medewerkers van de omroepen vragen hadden waarop ze het antwoord niet konden vinden in de standaardrapportage hebben we ze geholpen door het koppelen en analyseren van data en het helder inzichtelijk maken van de resultaten. Aangezien er op de redacties nog weinig ervaring was in het werken met data konden we helpen bij het introduceren van datageïnspireerd werken bij journalisten, redacteuren en andere afdelingen.

Naast het helpen bij vragen die vanuit de redacties naar voren kwamen hebben we aan de hand van inzichten die we zelf uit de data hebben gehaald rapportages opgezet en verbeterd. Ook hebben we geholpen bij het opzetten van nieuwe KPI’s waarmee de impact van alle regionale publieke omroepen gemeten en vergeleken kan worden. Op deze manier hebben alle hoofdredacteuren een beter overzicht van hoeveel mensen er bereikt worden en op welke manieren het nieuws geconsumeerd wordt.

Op technisch vlak hebben we het datateam verder geholpen door het ontwikkelen van analyses en tools in Python, waarmee ze op een eenvoudige manier data kunnen verwerken en gebruiken op de verschillende redacties.