Bent u het zat om zelf met IT-problemen te worstelen? Laat ons ons even voorstellen. Wij zijn Limit-IT, een professioneel IT-bedrijf dat zich toelegt op het leveren van topklasse IT-oplossingen aan kleine en middelgrote bedrijven. Ons team bestaat uit ervaren IT-professionals die gepassioneerd zijn over het leveren van resultaatgerichte IT-services aan klanten in verschillende sectoren.
In een aantal blogposts gaan we uitleg geven over de services die we bieden. In deze eerste post richten we ons op een inleiding tot Datamigratie. Een vaak onderschat en lastige discipline, maar met de juiste vakkundige inzet en hulpmiddelen zal uw datamigratie niet langer een hoofdpijndossier blijven.
Wat is datamigratie precies?
Data- ofwel gegevensmigratie is het proces van het verplaatsen of overbrengen van gegevens van het ene systeem of de ene opslaglocatie naar een andere. Dit kan het overbrengen van gegevens van een oud systeem naar een nieuw systeem omvatten of het verplaatsen van gegevens van het ene datacenter of de ene cloudservice naar een andere.
Gegevensmigratie kan soms nodig zijn tijdens een systeemupgrade of consolidatie, of tijdens een fusie of overname waarbij meerdere systemen samengevoegd moeten worden. Het proces omvat typisch het in kaart brengen van de gegevensstructuren en formaten in zowel de bron- als de doelsystemen, het converteren of transformeren van gegevens indien nodig, en vervolgens het overbrengen van de gegevens en het waarborgen van de nauwkeurigheid en integriteit ervan.
Gegevensmigratie moet zorgvuldig worden gepland en uitgevoerd om ervoor te zorgen dat er tijdens het proces geen gegevens verloren gaan of beschadigd raken, en dat het nieuwe systeem werkt zoals bedoeld met de gemigreerde gegevens.
Hoe het migratieproces er uit ziet
Een plan van aanpak voor datamigratie omvat vier belangrijke stappen:
1. Overzicht van data: Het identificeren en categoriseren van de gegevens die gemigreerd moeten worden, en het bepalen van de betekenis en onderlinge samenhang van die gegevens.
2. Het opstellen van een migratie strategie: Dit omvat het kiezen van geschikte migratie software, het bepalen van de juiste migratie methode, en identificeren van mogelijke risico’s en bijbehorende oplossingen.
3. Uitvoeren van de migratie: Het daadwerkelijk migreren van de gegevens naar de nieuwe systemen, inclusief het testen en verifiëren of alle data correct is overgezet.
4. Controle: Het valideren van de gegevens op juistheid en functionaliteit om er zeker van te zijn dat de migratie succesvol is verlopen en eventuele problemen snel kunnen worden opgelost.
Benodigde Tooling
Er zijn verschillende tools beschikbaar voor datamigratie, afhankelijk van de bron- en doelomgeving en de complexiteit van de gegevens.
Voor grote organisaties met grote gegevensverzamelingen zijn er professionele tools als:
– ETL-tools (Extract, Transform, Load) zoals Informatica PowerCenter, Talend en Microsoft SQL Server Integration Services zijn handig bij het extraheren van gegevens, transformatie en laden in de doelomgeving.
– Cloud-gebaseerde oplossingen zoals AWS Database Migration Service en Google Cloud Data Transfer zijn geschikt voor het migreren van gegevens tussen verschillende cloudplatforms.
– Database specifieke hulpmiddelen zoals Oracle Data Integrator, MySQL Workbench en PostgreSQL Migration Toolkit zijn nuttig voor het migreren van gegevens tussen specifieke databases.
– Open source-oplossingen zoals Apache NiFi en Apache Kafka helpen bij het repliceren en migreren van gegevens tussen verschillende bronnen en doelomgevingen.
Het selecteren van de juiste tool is cruciaal om een succesvolle datamigratie te waarborgen. Voor kleine organisaties is maatwerk vaak de beste oplossing. Hierbij wordt data in een database geladen, aangepast en ten slotte geëxporteerd naar een simpel formaat wat geïmporteerd kan worden in het doelsysteem.
Showcase
Van een uitgeverij kregen we de opdracht om een woordenboek Nederlands-Papiaments te ‘ver-appen’. Het fysieke woordenboek was opgemaakt in Adobe Indesign, maar het probleem was dat er geen bron was met de woorden en betekenissen. Er moest dus gewerkt worden met de tekst as-is, waarbij de opmaak niet verloren mocht gaan.
De werkwijze was als volgt: Vanuit Indesign een HTML export maken van het volledige boek. Hieruit is een selectie gemaakt en dit is zoveel mogelijk gestripped van onnodige informatie, ervoor zorgdragend dat alle informatie behorende bij een woord bij elkaar blijft. Deze HTML kon vervolgens in een FileMaker database geïmporteerd worden, alwaar het verder geschoond is en opgesplitst in bruikbare segmenten. Specifieke HTML elementen zijn geconverteerd naar App specifieke tegenhangers. Het eindproduct uit FileMaker was een CSV bestand met hierin de eerste letter van de woorden (makkelijk voor indexeren), de woorden zelf en de betekenis van het woord inclusief de opmaak. Dit flinke bestand met ruim 41.000 records kon 1:1 in de database van de app geïmporteerd worden. Dankzij de schoning en reorganisatie van de data was de zoekfunctie in de app supersnel en dat kwam het gebruiksgemak ten goede.
Dit was een uitdagende klus, naar volle tevredenheid van klant opgeleverd. Het resultaat is hieronder te zien.
