Om de twijfel weg te nemen over de betrouwbaarheid van de Utrechtse luchtkwaliteitsberekeningen, werd in 2011 een meetnet opgezet. Van de 50 meetlocaties werden er ruim 20 langs drukke stadswegen gekozen. De bedoeling was om de metingen die langs drukke stadswegen werden uitgevoerd te vergelijken met de berekeningen die voor datzelfde jaar waren uitgevoerd. Om de onafhankelijkheid te waarborgen werd de GG&GD-Amsterdam gevraagd de metingen uit te voeren.

Het RIVM werd gevraagd de metingen te vergelijken met de uitkomst van de berekeningen. De uitkomst van de vergelijking was dat er nauwelijks verschil was. Met andere woorden, er hoefde niet aan de betrouwbaarheid van de berekeningen te worden getwijfeld. De RIVM-rapportage roept echter vragen op van methodologische aard.

Wat is namelijk het geval? De meetresultaten blijken helemaal niet vergeleken te zijn met berekeningen zoals die voor 2011 (op basis van door de gemeente verstrekte invoergegevens) waren uitgevoerd met de NSL-monitor. Ze werden namelijk vergeleken met berekeningen die naderhand (in 2012) door het RIVM zijn gemaakt voor de locaties waar de metingen plaatsvonden.

Die berekeningen (die dus werden opgesteld toen de meetresultaten over 2011 bekend waren!) werden uitgevoerd op basis van “de meest toepasselijke omgevingsparameters” zoals die vastgesteld werden in overleg tussen het RIVM, het ministerie, de gemeente Utrecht en de GG&GD-Amsterdam, nádat bekend was waar de berekeningen op uit moesten komen om met de meetresultaten in overeenstemming te zijn!

Wie een beetje thuis is in het vak methoden & technieken / wetenschapsleer (is dat eigenlijk nog een verplicht vak in de milieukunde?) kan een gevoel van ongeloof moeilijk onderdrukken. Eerst meten en daarna kijken of je door middel van berekeningen tot dezelfde uitkomsten kunt komen? Een student die bij een tentamen methodologie zou voorstellen om berekeningen om die manier te ijken zou het advies krijgen zijn studie niet voort te zetten.

Sinds “Conjectures and Refutations” (1963) van Karl Popper is het in de wetenschapsleer geen punt van discussie meer dat je, als je een model, een theorie of een rekenpraktijk wil toetsen, eerst zo concreet en nauwkeurig mogelijk de te berekenen concentraties moet specificeren. En dat je vervolgens gaat kijken of je metingen kunt vinden die al of niet met de rekenresultaten in overeenstemming zijn.

Dat je die berekeningen moet uitvoeren vóórdat de meetresultaten bekend zijn is om de mogelijkheid uit te sluiten dat er naar reeds bekende meetresultaten wordt toegerekend. Hoe noodzakelijk dat is blijkt wel uit het feit dat de deskundigen van de gemeente en het ministerie nauw betrokken waren bij de vaststelling van “de meest toepasselijke omgevingsparameters”. De gemeente die graag wil dat uit de berekeningen blijkt dat de gemeentelijke invoergegevens oké blijken te zijn en het ministerie dat graag wil dat de betrouwbaarheid van de rekenmodel komt vast te staan.

Het ijken van modellen en berekeningen op de manier waarop het RIVM dat gedaan heeft wordt door Popper beschouwd als een onwetenschappelijke methode (**). Dat het RIVM zich daarvoor leent roept bij de SSLU de vraag op of het RIVM zich niet voor het karretje van de gemeente en het ministerie laat spannen.

* Joost Wesseling. Een vergelijking tussen gemeten en berekende NO2 concentraties in Utrecht, 2 april 2012
** Karl R.Popper Conjectures and Refutations, The Growth of Scientific Knowledge. 1972 p.33-65