Datahuis
Nieuws zit in de data. Datahuis vergelijkt wat Nederland zoekt met wat de pers schrijft, en laat journalisten zien waar een verhaal ligt dat nog niemand heeft verteld.
Het idee
Bij indebuurt schreef ik een tool die artikelen scoorde op herbruikbaarheid. Het jaarlijkse evenement dat elk jaar weer nieuws is, weet je pas te vinden als je erop let. Daar zat de eerste vraag: als je weet wat mensen straks willen weten, kun je er eerder over schrijven.
Datahuis is het antwoord op die vraag, groter gebouwd. Het begon bij open overheidsdata (BAG, energielabels, CBS) en groeide uit tot een dienst die zoekgedrag, Wikipedia, sociale media en de berichtgeving van ruim 150 media combineert. Elke tip zegt: dit speelt nu, dit zijn de cijfers, en hier schrijft nog niemand over.
Hoe het werkt
In vier stappen, van ruwe bron tot tip voor de redactie:
Bronnen
Google Trends, Wikipedia (ook live bewerkingen), Bluesky en RSS-feeds van media.
Ophalen
Rustig en volgens robots.txt. Van een artikel bewaar ik alleen de kop en de link.
Scoren
Trending-score, tip-waarde en een nieuwskans-model dat elke dag leert.
Tip
Invalshoeken, cijfers, bronnen en een als AI gelabelde achtergrondnotitie.
Onder de motorkap
- Python en FastAPI voor de webapp, PostgreSQL voor de data.
- systemd-timers halen het nieuws elk half uur op, bouwen de tiplijst vijf keer per dag en verversen de brondata elke nacht. Een aparte service volgt Wikipedia-bewerkingen live.
- spaCy herkent personen, organisaties en plaatsen in koppen. scikit-learn draait het nieuwskans-model, met een tweede model als uitdager. Elke dag controleer ik welke eerdere tips nieuws zijn geworden. Zo leert het systeem van zichzelf.
- Web push voor de gratis Nieuws Alert, een Claude-model voor de korte achtergrondnotitie bij een tip, en een Discord-koppeling voor meldingen.
- Elke bron wordt gelogd: wat is opgehaald, wanneer en hoe. Elke tip draagt een peildatum.
Keuzes
Datahuis werkt zonder persoonsgegevens. Dat is een bewuste keuze, geen beperking. Ik analyseer op het niveau van onderwerpen, bedrijven en instituten, nooit van individuen. Publieke personen komen alleen voor in hun publieke rol. De AI schrijft geen artikelen, maar legt uit waarom iets speelt, op basis van de bronnen bij de tip.
Eerlijke bronnen werken ook commercieel: een journalist gebruikt een tip alleen als die klopt en na te trekken is.
Wat ik leerde
Een voorspelling is pas waardevol als je kunt laten zien hoe vaak die klopt. Daarom controleert het systeem zichzelf elke dag, en daarom noemt de site de bronnen en de peildatum. Het bouwen van een product rond data heeft me veel geleerd over vertrouwen, naast pipelines en modellen.
Zin in een gesprek?
Over data, een project of een spelavond. Ik sta altijd open voor een goed gesprek.