Gemeente georiënteerde BAG standen laden in staging
Kadaster kan een "Woonplaatscollectie" BAG extract leveren; dat is een zip bestand met daarin per gemeente een zip met de 7 databestanden van de BAG. In onderstaand voorbeeld 78 gemeente zipfiles plus een gemeente/woonplaats relatie zipfile in een grote zipfile.
Een mogelijke manier om deze standen te laden is de volgende procedure:
- Uitpakken DWPLLXAE02-XXXXXXXXX-15122015.zip naar een directory, dat levert alle gemeente standen, een zip per gemeente.
- Verwijderen GEM-WPL-RELATIE-15122015.zip uit die standen directory
- Uitpakken alle gemeente zips naar dezelfde (standen) directory, dat levert in die directory alle stand bestanden (7 zip files per gemeente)
- Een BAGDirectoryScanner job aanmaken die in de bag standen (
bag15122015\standen) directory kijkt en die starten om de berichten te laden
unzip DWPLLXAE02-XXXXXXXXX-15122015.zip -d bag15122015
cd bag15122015
rm GEM-WPL-RELATIE-15122015.zip
unzip "*.zip" -d standen
Als je de bestanden per type wilt kunnen laden kun je de volgende commands gebruiken:
cd standen
md "01 - WPL" 2> nul
md "02 - PND" 2> nul
md "03 - OPR" 2> nul
md "04 - NUM" 2> nul
md "05 - LIG" 2> nul
md "06 - STA" 2> nul
md "07 - VBO" 2> nul
move /-y "*WPL*.zip" "01 - WPL"
move /-y "*PND*.zip" "02 - PND"
move /-y "*OPR*.zip" "03 - OPR"
move /-y "*NUM*.zip" "04 - NUM"
move /-y "*LIG*.zip" "05 - LIG"
move /-y "*STA*.zip" "06 - STA"
move /-y "*VBO*.zip" "07 - VBO"
De BAGScanner heeft 7x78=546 zip bestanden om te verwerken; dat levert (in ons voorbeeld) 1208 laadprocessen (5776989 berichten) in een doorlooptijd van iets meer dan 2 uur.
Na het laden in de staging database kan er getransformeerd worden naar de rsgb database (let daarbij op de volgorde; zie ook BAG stand laden)
Dit werk valt onder een Creative Commons Naamsvermelding-GelijkDelen 2.0 Nederland-licentie.
