Woo-harvester

Gebruikers moeten met één zoekvraag door alle openbaar gemaakte documenten van alle bestuursorganen kunnen zoeken vanaf een centrale plek: https://open.overheid.nl. Om dat technisch voor elkaar te krijgen, is de ‘Woo-harvester’ ontwikkeld.

Introductie

De Woo-harvester haalt documenten op van de website(s) van bestuursorganen (harvesten) en maakt deze centraal doorzoekbaar op één plek open.overheid.nl. De Woo-harvester haalt alle documenten op zodat deze kunnen worden geindexeerd op inhoud en meegeleverde metadata. Het zoekportaal stuurt uiteindelijk de eindgebruikers voor de gevonden documenten naar de weblocatie van het bestuursorgaan waar het document is gepubliceerd. Eenmaal aangesloten is er dagelijks een check op nieuwe documenten en eventuele wijzigingen.

Er zijn al drie organisaties aangesloten, namelijk: Rijkswaterstaat en de provincies Zeeland en Gelderland.

Voor welke bestuursorganen is de Woo-harvester een geschikte aanlevermethode?

Alle bestuursorganen die volgens de Wet open overheid informatie actief openbaar maken kunnen gebruikmaken van de Woo-harvester.

Om documenten te laten ophalen door KOOP, ook wel ‘harvesten’, is het noodzakelijk dat uw bestuursorgaan:

over een publicatieplatform/website beschikt;
op het publicatieplatform/website documentverzamelingen zijn ingericht;
het publicatieplatform/website voldoet aan de zogeheten publicatievoorwaarden van KOOP.
de URL's naar de documentverzamelingen op uw publicatieplatform/website in de Woo-index zijn ingevuld;

Publicatievoorwaarden (handleiding)

In de publicatievoorwaarden staat informatie hoe bestuursorganen documenten via de Woo-harvester aan KOOP kunnen aanbieden.

Stappenplan Harvester

Onderstaande stappen dienen te worden gevolgd zodat de Woo-harvester ingezet kan worden om documenten op te halen.

Voorbereiding	(STAP 1) Heb je als bestuursorgaan nog geen toegang tot de Woo-index, raadpleeg deze pagina hoe je dit kunt krijgen: Toegang tot de Woo-index \| Voor overheden \| KOOP Kennis- en exploitatiecentrum officiële overheidspublicaties (koopoverheid.nl); (STAP 2) Neem de URL's naar de documentverzameling op uw weblocaties bij het veld [>Woo-index] bij de betreffende informatiecategorie op; Als één URL meerdere documentverzamelingen bevat neem vul deze dan bij meerdere informatiecategorieën in; (STAP 3) Implementeer de publicatievoorwaarden (de publicatievoorwaarden) op uw eigen weblocatie. U kunt deze weblocatie kenbaar maken aan de Woo-harvester door de URL hiernaar op te nemen in de Woo-index. Hoe u dit kunt doen leest u hier.
Woo-index check	De door bestuursorganen ingevoerde URL's in de Woo-index worden door KOOP gevalideerd op basis van de Woo-index check. Er wordt gevalideerd op een juiste inrichting van de robots.txt in combinatie met de XML sitemaps. (de sitemaps worden niet op inhoud gevalideerd). (STAP 4) Wanneer een URL voldoet aan de publicatievoorwaarden neemt ons implementatieteam contact met de Woo-of ROO-redacteur van uw bestuursorgaan op over de datum waarop documenten worden geharvest; Indien uit de Woo-index check blijkt dat er sprake is van fouten in de implementatie en er daardoor niet geharvest kan worden, dan neemt KOOP contact op met de betreffende Woo- of ROO-redacteur van het bestuursorgaan.
Harvesten eerste documenten	(STAP 5) Na de eerste harvesting en verwerking van documenten en/of metadata worden deze gepubliceerd op het publieke centrale zoekplatform https://open.overheid.nl. De documenten worden na indexering door KOOP niet verder opgeslagen;
Documenten wijzigingen	Na harvesting en verwerking van de eerste documenten zal de Woo-harvester vanaf dat moment regelmatig de verwijzingen van het bestuursorgaan bezoeken en wijziging in documenten en/of metadata harvesten en verwerken.
	Al het contact met het bestuursorgaan bij de gecontroleerde livegang ten behoeve van ondersteuning en planning verloopt via het implementatieteam van KOOP (woo@koop.overheid.nl)

Ondersteuning van KOOP bij invullen van URL's (verwijzingen)

Tijdens invulsessies kunt u - met ondersteuning van KOOP - de benodigde gegevens in de Woo-index registreren. Kijk op de bijeenkomsten pagina wanneer de eerstvolgende invulsessie is waaraan u kunt deelnemen.

Referentietrajecten en uitvoeringstoets artikel 3.3b Woo

Er zijn twee referentietrajecten uitgevoerd ten behoeve van de implementatie van de zoekfunctie op documentniveau. Hiermee is beoogd inzicht te krijgen in de vraagstukken en problemen vanuit de praktijksituatie van bestuursorganen en hun leveranciers tijdens de technische implementatie van de Woo-harvester. Mede op basis van deze referentietrajecten is er een interne uitvoeringstoets gedaan op de techniek en de uitvoerbaarheid van het werken met de Woo-index voor wat betreft de door de minister in stand gehouden digitale infrastructuur. Uit deze uitvoeringstoets is gebleken dat vanuit technisch oogpunt de Woo-index met zoekfunctie gereed is en dat bestuursorganen hierop gefaseerd kunnen aansluiten.

Veelgestelde vragen

De livegang gaat in eerste instantie gecontroleerd voor een aantal bestuursorganen en wordt later opgeschaald. Hieronder leggen we dat verder uit.
Nadat de Woo-harvester bij bestuursorganen eenmaal alle relevante documenten heeft opgehaald, zal er dagelijks een automatische check worden uitgevoerd op nieuw toegevoegde documenten en eventuele wijzigingen.

Om zo efficiënt mogelijk met de beschikbare mensen en middelen om te gaan en eventuele opstartproblemen zo snel mogelijk te verhelpen, zal KOOP gefaseerd documenten en wijzigingen op documenten gaan ophalen met de Woo-harvester. Met de ervaringen bij de eerste bestuursorganen zullen daarna steeds meer documenten geharvest worden. We beginnen met de bestuursorganen die als eerste op de juiste manier de Woo-index hebben ingevuld met URL's naar weblocaties.

Ondersteuning

Al uw functionele en technische vragen over het aansluiten op de generieke Woo-voorziening kunt u stellen via woo@koop.overheid.nl. KOOP verzorgt ook diverse online informatiebijeenkomsten en invulsessies over de Woo-index en de technische aanlevermethoden. Kijk hiervoor op de bijeenkomsten pagina.