Data warehousing the Spotify way

Ben jij ook nog uit de tijd van het cassettebandje? Ik luisterde in mijn tienerjaren elke donderdagavond om 20:00 uur met mijn dubbele cassettedeck in de aanslag naar TROS Dancetrax met Martijn Krabbé om mijn favoriete nummers op te nemen. Dit waren voor mij de playlists van de jaren 90. En hier kon ik uren mee bezig zijn. Zeker wanneer een bepaald nummer uit de playlist moest, en ik met het dubbele cassettedeck aan de slag kon om het origineel te kopiëren zonder dat ene nummer. De komst van de compact disk maakte het een stuk makkelijker om playlists te maken. En tegenwoordig is het, door Data warehouse, super simpel om in Spotify on-the-fly een playlist te maken, met keuze uit miljoenen nummers.

Een datamodel bouwen: copy/paste to the max

Precies zo is het gegaan met data warehousing. In het begin werd data gekopieerd naar een basislaag en daar bovenop volgden kopieën van deze data. Eén kopie om berekeningen te maken, één kopie om data uit verschillende bronnen samen te voegen. Daarnaast nog éen kopie om data te aggregeren om snelheidswinst te behalen en één kopie om de data af te leveren aan een applicatie om de data te visualiseren. Als je een veld wilde toevoegen aan een rapport, dan moesten alle kopieën worden aangepast en de data opnieuw geladen, net zoals met die cassettebandjes.

Met de introductie van SAP HANA tien jaar geleden, werd de data in-memory gezet en daarboven op virtuele modellen gemaakt met HANA studio of de WebIde. Je had hiervoor behoorlijk wat development kennis nodig, maar dit werkte wel fantastisch. Ook de hoeveelheid data was geen issue meer. Daar waar je vroeger echt niet meer dan 20 miljoen regels in een tabel kon stoppen – want anders kwam je query niet meer terug – kunnen we tegenwoordig tot miljarden regels gaan en het systeem blijft enorm snel. BW maakt gebruik van het SAP HANA-platform en is een mooie schil om SAP HANA heen voor het bouwen van een data warehouse. De nieuwste versie van BW, BW/4HANA is volledig geoptimaliseerd voor het gebruik van het SAP HANA platform en bieden we geen data warehousing op conventionele databases meer aan. Maar je hebt wel nog bepaalde BW-skills nodig om een data warehouse te kunnen bouwen, en deze zijn schaars.

 

Meer weten over datamanagement?

Leer hoe u uw bedrijfsgegevens beheert, bestuurt en integreert om analyses en inzichten te optimaliseren met een demo voor database- en gegevensbeheer.

De toekomst ligt in bij Data Warehouse Cloud

Onze CEO Christian Klein benadrukte het recent nog in zijn visie voor de komende jaren; de toekomst van SAP ligt echt in de Cloud. Daar ligt de focus voor de komende jaren. Business applicaties uit de Cloud die, als je ligt te slapen, worden geüpdate door SAP en waarin je ‘s-ochtends een nieuwe set aan functionaliteit in terugvindt.

Dit is precies wat de Data Warehouse Cloud is: Data warehousing the Spotify way. Een data warehouse-applicatie die je niet installeert en configureert, maar aanzet. Waarin je met verschillende bronnen kan connecteren, zowel SAP als niet SAP. Waarin iedereen of iedere afdeling binnen je organisatie zijn eigen plek heeft via zogenaamde Spaces. In zo’n space kunnen collega’s die geen technische skills hebben echt zelf live virtueel modellen ontwikkelen op de originele data. Datamodellen kunnen worden gedeeld met andere afdelingen en zodoende hoeft het wiel niet meerdere keren uitgevonden te worden.

De gebruiker als uitgangspunt

Data Warehouse Cloud is gemaakt met de business user als uitgangspunt. Een business user die z’n weg kent met Microsoft Excel en die iets snapt van het combineren van tabellen, kan op dezelfde manier waarop hij of zij nu een playlist maakt in Spotify, een datamodel maken. Dit kan gebruikt worden voor lijstjes, dashboards of zelf advanced analytics. Zo kunnen ze bij PWC bijvoorbeeld nu binnen 48 uur een Proof of Concept realiseren.

Via de Spaces kan IT een oogje in het zeil houden. Je kan zien hoeveel opslag disk en memory er wordt gebruikt, hoeveel modellen er worden gemaakt en of deze worden gebruikt. Zo niet, dan zet je ze in de vrieskist. Op die manier hou je ook nog de kosten binnen de perken. En je hebt geen schaarse development kennis meer nodig om meer waarde te halen uit je data. Met SAP Data Warehouse Cloud komen de business en IT dus dichter bij elkaar.