Opinie: Wat is wetenschap? Over feitenbrij als afleiding

Wat het rapport van Ronald Meester, getiteld ‘De illusie van een betrouwbare stikstof-modelwerkelijkheid’ precies is, is niet helemaal duidelijk, maar wetenschap is het in ieder geval niet. Over wat wetenschap precies is, kun je heel goed ingewikkelde discussies voeren, maar als je wil dat die ook ergens toe leiden, dan helpt het als je de kaders duidelijk neerzet. Wetenschappers hebben geen patent op de eeuwigdurende waarheid en daarom zijn er spelregels bedacht. Hoe de regels precies werken, verschilt per vakgebied, maar in de basis moet je verstand van zaken hebben, je data recht doen en falsificeren en rectificeren. Falsificatie werkt twee kanten op: je moet aantonen wat er aan de bestaande kennis niet voldoet en om falsificatie mogelijk te maken voor anderen moet je zelf controleerbare uitspraken doen. Aan de bètakant betekent dat vaak dat experimenten herhaalbaar moeten zijn, aan de alfa- en gammakant betekent het dat je bronnen traceerbaar en controleerbaar moeten zijn. Rectificatie betekent dat je evidente fouten moet corrigeren.

Precies hier gaat het mis in het rapport van Ronald Meester. Er worden vage begrippen gebruikt en onjuiste beweringen gedaan, er wordt verkeerd geciteerd en het zit vol drogredenen. Belangrijker dan dat er veel fouten gemaakt worden, is de constatering dat de spelregels gebroken worden. Fouten kun je weerleggen in een inhoudelijk debat, dat je voert op basis van argumenten. Maar als de spelregels systematisch met voeten getreden worden, kun je weerleggen wat je wil, maar leidt het debat niet tot nieuwe inzichten.

Waar gaat het mis?

Hoe het precies misgaat, kun je herkennen aan het feit dat je een bouillonblokje nodig hebt om een liter water te vermenigvuldigen met de kritisch metaforische depositiewaarde, waaruit blijkt dat de zaak significant anders in elkaar zit dan in het maakbaarheidsframe wordt voorgesteld. U denkt: pardon? Inderdaad, dit is letterbrij. Maar dit is wat er in het rapport gebeurt. Er worden stellingen betrokken over wereldbeelden, maar die worden niet gedefinieerd. Eén model maakt nog geen ‘modellenwerkelijkheid.’ Er is geen heldere probleemstelling, geen vraagstelling en er wordt niet onderbouwd waarom de gekozen bronnen – 12 citaten en een definitie uit Wikipedia – en de gekozen methode – een ChatGPT prompt – de juiste zijn om de centrale vraag te beantwoorden. Een model gebruiken om een modellenwerkelijkheid te bekritiseren is een hachelijke onderneming. Erkende bronnen worden op één hoop gegooid met zeer controversiële studies. Er is geen logische relatie tussen de data, de analyse en de conclusie. Er staan woorden onder elkaar.

Dit is de eerste zin van het rapport:

''Ik heb allereerst vastgesteld dat de natuurdoelanalyses (NDA’s) en de adviezen van de Ecologische Autoriteit (EA) blijk geven van een ‘maakbaar’ wereldbeeld, waarin metaforische knoppen zijn bedacht waar we aan kunnen draaien teneinde een bepaald doel te bereiken.''

Een lekkere binnenkomer. Ik stel allereerst vast dat de ‘metaforische knoppen’ een verzinsel zijn. Toon mij die knoppen, beschrijf wat ze doen. Zeker als je ze wil relateren aan een ‘maakbaar wereldbeeld’ moet je scherp zijn in je definities. Wie heeft dat wereldbeeld en waar blijkt dat uit? Wie heeft de knoppen bedacht en wie heeft er eigenlijk welk doel? Is het kritiek op de Ecologische Autoriteit, op ecologen in het algemeen of op ambtenaren die het natuurbeleid maken in opdracht van politici? Wie doet wat verkeerd?

Zoals het er nu staat, is het vage kritiek die niet te weerleggen is. Het falsificatieprincipe wordt geschonden. In de tweede zin schakelt Meester door van vaagheid naar drogreden:

''Kritische depositiewaardes (KDW’s) zijn in dit wereldbeeld unieke en exacte getallen.''

Dit gaat over een zelfverzonnen wereldbeeld want in de wetenschappelijke wereld zijn Kritische Depositiewaarden namelijk ranges; spreidingsbreedtes (waarden tussen een boven- en een ondergrens). Deze drogreden noemen we een stroman: doen alsof er mensen zijn die iets heel doms vinden, om daar vervolgens de strijd mee aan te binden. Maar die mensen bestaan niet: het zijn strooien poppen, waarvan je makkelijk kan winnen omdat stropoppen niet terugvechten. De meeste ecologen spreken genuanceerd in termen van bandbreedtes en percentages omdat processen in de natuur zelden heel zwart-wit werken. Drempelwaarden zijn kantelpunten die vaak pas achteraf vast te stellen zijn, daarom is het verstandig om met marges te werken. Het is merkwaardig om te zien dat er in het rapport geconstateerd wordt dat er een zwart-witwerkelijkheid is terwijl er ook allemaal citaten opgevoerd worden van ecologen die uitleggen dat de KDW’s als ranges gezien moeten worden. Waar komt dat wereldbeeld dan vandaan?

Aerius

De derde zin is een loze kreet en de vierde is – wederom – een drogreden:

''Uitkomsten van Aerius/OPS-berekeningen zijn reëel en worden zonder marges of onzekerheden gebruikt. De natuur zal herstellen als de depositie onder de KDW komt, en boven de KDW zal of kan stikstofdepositie ‘significante’ schade aan de natuur toebrengen.''

Wat ontbreekt, is door wie de uitkomsten gebruikt worden – en waarvoor precies. Er is discussie over waar Aerius wel of niet voor gebruikt kan worden. Maar dat de uitkomsten gebruikt worden voor doeleinden waar het model niet precies genoeg voor is, is niet bedacht door ecologen of de Ecologische Autoriteit. Het is het resultaat van een bewuste politieke keuze onder invloed van de landbouwlobby. De context doet ertoe.

Het vastgelopen landbouwbeleid had, na het falen van het toetsingskader ammoniak, ernstig de behoefte aan een model dat ontwikkelruimte kon beloven, die er feitelijk niet was. Niet alleen kritische ecologen, maar ook bestuurskundigen en juristen waarschuwden er scherp voor. Maar onder andere op voorspraak van de huidige voorzitter van de LTO werd het model ingevoerd. Nu het model ook gaat beperken, deugt het ineens niet meer. Echter, dit probleem wordt niet veroorzaakt door het wereldbeeld van de Ecologische Autoriteit, of door het feit dat ecologen werken met statistische significantie of dat er verwarring kan optreden met dagelijks taalgebruik waarin ‘significant’ ongeveer zoveel betekent als ‘belangrijk’, het wordt veroorzaakt door een intensieve lobby, die de politiek keer op keer overtuigt van ‘foplossingen’: maatregelen die op oplossingen lijken maar dat feitelijk niet zijn.

Dan de tweede drogreden: dat de natuur zal herstellen als de stikstofdepositie maar onder de KDW komt, zegt helemaal niemand in de ecologische wetenschap. En ook in alle provinciale plannen en alle natuurdoelanalyses van de Ecologische Autoriteit wordt – in meerdere of mindere mate – recht gedaan aan het feit dat we te maken hebben met een integrale opgave waarin, naast stikstof, allerlei andere omgevingsfactoren een rol spelen.

Onwaarheden

We zijn vier zinnen op weg, en we hebben twee drogredenen gezien, één niet falsificeerbare claim en één uit zijn verband gerukte stelling. Behalve verdraaiing staan er ook onwaarheden in het rapport, bijvoorbeeld op pagina 3:

"Voor alle duidelijkheid, stikstofdepositie wordt niet zélf gemeten."

En meteen daaronder:

"Er wordt veel beweerd over stikstof, maar er is vrijwel geen enkele kwantitatieve claim die daadwerkelijk controleerbaar is."

Beide zijn onjuist – en niet een beetje. Er zijn verschillende metingen en herhaalmetingen van stikstofdepositie in bodem, lucht en water en ook de effecten van stikstofdepositie worden op allerlei manieren gemeten in bijvoorbeeld vegetatie, voedselkringlopen en in aantalsontwikkelingen van soortgroepen. Daarnaast zijn er honderden veldonderzoeken en laboratoriumexperimenten uitgevoerd omtrent de negatieve effecten van stikstof, in binnen- en buitenland. Daar wordt niet uit geciteerd, laat staan dat er bestaande inzichten uit al die onderzoeken – op correcte wijze – gefalsificeerd worden.

De opdracht

Het is in het rapport niet duidelijk of de opdracht verleend is aan de persoon Ronald Meester, het adviesbureau van Ronald Meester of de Vrije Universiteit waaraan Ronald Meester verbonden is en ook niet of aan de opdracht is voldaan. Volgens rapport is gevraagd om "een notitie op te stellen waarin gereflecteerd wordt op de wijze waarop in de huidige handreiking NDA’s (en dus toegepast in de huidige NDA’s) met de statistische relevantie van de berekende stikstofdepositie op Natura 2000-gebieden wordt omgegaan en aanbevelingen te doen om hier verbetering in aan te brengen ten behoeve van de nieuwe handreiking." In plaats daarvan heeft Meester het vooral over de Kritische Depositiewaarde en de daarmee samenhangende drempelwaardes waarvan in meerdere reviews in Nederland en Europa duidelijk is dat de onderbouwing ervan robuust is. Dat zijn verschillende dingen en het is niet voor niets dat Petersen weinig van het rapport van Meester heel laat en dat ambtenaren adviseren het niet te gebruiken. In het rapport wordt niet alleen geen goede weergave gegeven van de relaties tussen natuur en stikstof, de Habitatrichtlijn en de Kritische Depositiewaarde, maar ook van de taak en rol van de Ecologische Autoriteit.

De Ecologische Autoriteit opereert niet vanuit een eigen expertise of wereldbeeld, maar ze organiseren een onafhankelijke review per plan dat ze beoordelen. Dat werkt als volgt: als de provincie een plan maakt voor laten we zeggen het Korenburgerveen, dan wordt dat plan onder de loep genomen door mensen met verstand van hoogveen, de soorten waarvoor het gebied is aangewezen en de maatregelen die worden voorgesteld. Voorwaarde is dat de betrokken experts geen rol hebben gespeeld bij de totstandkoming van het plan – dit om de onafhankelijkheid te waarborgen. Het team van onafhankelijke experts formuleert uiteindelijk de review. De vraag die in het rapport beantwoord zou moeten worden is dan niet zozeer: klopt het? Als wel: is dit een deugdelijke werkwijze en wordt die correct uitgevoerd? In plaats daarvan gaat het over ‘de illusie van een modellenwerkelijkheid.’ In het rapport wordt het als volgt neergezet:

''In deze notitie onderzoek ik een aantal zaken in relatie tot statistische onzekerheid van stikstofdepositie en de bijbehorende vergunningverlening in de context van de natuurdoelanalyses (NDA’s) en de corresponderende adviezen van de Ecologische Autoriteit (EA).''

Ook hier gaat heel veel tegelijk mis. In de realiteit zijn de vergunningen namelijk al verleend, zijn de problemen al ontstaan en hebben de provincies, na jarenlang onvoldoende maatregelen in de Natura 2000-beheerplannen te hebben opgeschreven, natuurdoelanalyses gemaakt, waarop de Ecologische Autoriteit een onafhankelijke review heeft georganiseerd om te kijken of die plannen een beetje voldoen. Je zou het kunnen zien als achterstallig huiswerk, gebaseerd op georganiseerde wetenschappelijke expertise.

Statistische onzekerheid

Nog een keer: In het rapport wordt een aantal zaken onderzocht (welke?) in relatie tot de statistische onzekerheid van stikstofdepositie (wat betekent dit?) en de bijbehorende (hoezo bijbehorend? Waarbij? Hoe?) vergunningverlening in de context van de natuurdoelanalyses (vergunningverlening in de context van de natuurdoelanalyses? Wat is hier de relatie?) en de corresponderende (?!) adviezen van de Ecologische Autoriteit. Er staan woorden onder elkaar, maar wat de relatie tussen de woorden en begrippen is en wat derhalve de zin moet betekenen, is niet duidelijk.

Chat GPT bewijst mijn gelijk

Vervolgens wordt de Ecologische Autoriteit verweten dat ze te weinig kritiek hebben op de provinciale plannen en de ecologische beoordelingen van de reviewers omdat zij geloven in statistische significantie. Meester onderbouwt het met ChatGPT, omdat:

''Ik was vooral geïnteresseerd in het ‘wereldbeeld’ dat spreekt uit de NDA’s en de adviezen;''

Als je een vooringenomen stelling in een model stopt, is het weinig verrassend dat het model je vooroordeel daarna netjes bevestigt. In het rapport worden ‘representatieve citaten’ gegeven om het wereldbeeld te bevestigen, zoals op respectievelijk pagina 11 en 20:

''De kamsalamander is gevoelig voor stikstof wanneer door eutrofiëring zuurstofgebrek optreedt in zijn leefgebied, habitattype H3130. Dat gebeurt pas bij een hogere depositie dan de KDW van het habitattype H3130 (571 mol N/ha/jaar).''

"De kritische depositie waarde (KDW) wordt daarbij als volgt gedefinieerd: ‘De grens waarboven het risico bestaat dat de kwaliteit van het habitat significant wordt aangetast door de verzurende en/of vermestende invloed van atmosferische stikstofdepositie."

En dan zegt hij:

''Het beeld is hiermee wel duidelijk. De KDW wordt zonder omhaal gebruikt als een unieke waarde; merk op dat bijvoorbeeld in het laatste citaat gesproken wordt over “de” grens waarboven iets gebeurt. Onder de KDW is er binnen deze visie geen probleem, daarboven wel.''

Maar dat staat er niet. Nog eens:

“waarboven het risico bestaat dat de kwaliteit van het habitat significant wordt aangetast”.

Dat is in de context van de Habitatrichtlijn relevant, omdat je verslechtering met zekerheid moet uitsluiten bij vergunningverlening. Het is niet helemaal duidelijk of deze manier van verkeerd citeren nu een drogreden, een verdraaiing van de feiten of een leugen genoemd moet worden, maar falsificatie van de Kritische Depositiewaarde is het in ieder geval niet en dat die illusoir zou zijn of dat er zoiets bestaat als een modellenwerkelijkheid toon je er niet mee aan.

Dit zijn geen slippertjes of incidenten: het aantal gemankeerde mededelingen loopt ver over de 100. Voor een rapport van 70 pagina’s waarin veel ruimte door citaten ingenomen wordt, is dat veel. De conclusie is dan ook duidelijk:

''Ter illustratie en bevestiging van onze bevindingen hebben we een ChatGPT prompt ontworpen om het beeld dat we hebben te verifiëren.''

Een sluitende redenering. De bevindingen moesten bevestigd worden en voor dat doel is een ChatGPT-zoekopdracht ontworpen die de bevindingen bevestigt. Problematisch is natuurlijk dat je er met zo’n methode nooit achter komt of je misschien ook ongelijk had kunnen hebben. Over modellenwerkelijkheid gesproken.

Ik heb bij wijze van controle aan ChatGPT gevraagd of en hoe stikstofdepositie in Nederland gemeten wordt. Daar kwam een uitgebreid antwoord op. Als Meester naar informatie had gezocht, had hij die kunnen vinden, maar hij zocht bewijs voor zijn gelijk. Het doet er echt toe welke vragen je in een model stopt. Siri, bewijs mijn gelijk. Et voilá! Ik heb gelijk, de computer zegt het zelf. Maar zo werkt het niet in de wetenschap.

Er is goede kritiek mogelijk op het Nederlandse beleid voor natuur en landbouw, er worden veel te veel aannames gedaan en er wordt onjuist gebruik gemaakt van modellen en wetenschappelijke kennis, maar zoiets aantonen vereist enige kennis van zaken en zorgvuldigheid.

Twijfel

In de wetenschap is twijfel een nuttig instrument dat je analyse kan scherpen, maar het is niet het eindproduct. In het rapport wordt op ondeugdelijke argumenten een cirkelredenatie opgebouwd over een wereldbeeld met zogenaamde metaforische knoppen waaruit blijkt dat we (wie eigenlijk?) te maken hebben een illusie over een modellenwerkelijkheid. Dat is geen constructieve twijfel die leidt tot verbeterde inzichten. Dat is de stelling betrekken dat we te maken hebben met een illusie en het daar bij laten.

Alles leuk en aardig, maar dat kan altijd. U kunt zich net zo goed afvragen of ik deze tekst wel geschreven heb. De interpretatie vindt immers plaats in uw hoofd, u leest dit, u kent betekenis toe aan de woorden. Ik doe niet ter zake. Besta ik eigenlijk wel? Hoe weet u dat dan zeker? Hartstikke lollig natuurlijk in postmoderne literatuur, of in films zoals Fight Club, maar in een rapport dat pretendeert analytisch te zijn, kun je hier niet veel mee.

Het is van belang om op te merken dat veel van de discussies over twijfel aan metingen en modellen niet worden gevoerd op een wetenschappelijk podium maar op internetfora en in agromedia, waar wetenschappelijke spelregels over falsificatie en rectificatie – maar ook over correct gebruik van bronnen en recht doen aan context – niet worden gehandhaafd. Dan wordt correcte en zorgvuldig opgebouwde informatie op gelijke voet gezet of zelfs overschreeuwd door propaganda en verwarring.

Opschalen van onzin

Wat het rapport laat zien, is dat de landbouw niet meer genoeg heeft aan de gebruikelijke 'cherry-picking' in de lobby, maar dat ze nu zijn overgestapt naar full scale nonsens. Als je een verkeerde berekening presenteert, kun je nog zeggen: "Dat is een verkeerde berekening, hier zit de fout en dit is de juiste berekening." Als je de drempelwaarde manipuleert, kun je zeggen: "Jij verzint hier je eigen drempelwaarde en dat mag niet, die moet je namelijk vaststellen in metingen." Maar als je de wartaalkraan vol openzet, weet je zo 1,2,3 niet wat je daar tegenin moet brengen. Het is niet eenvoudig om een heldere repliek te schrijven op teksten waarin zoveel tegelijk mis gaat.

Steve Banon, een Amerikaans zakenman en politicus, noemt dat "flooding the zone with shit". Je slaat met zoveel onzin in de rondte dat redelijkheid letterlijk verstomt, simpelweg omdat het overspoeld wordt. Chaos en verwarring worden gebruikt als wapens om de status quo te verdedigen tegen nieuwe inzichten en verhoudingen.

Het probleem is niet zozeer dat het inhoudelijk niet deugt wat in het rapport te berde wordt gebracht, maar het probleem is dat het van zo’n ordegrootte is dat een inhoudelijke discussie onmogelijk wordt. Het doel is niet om een discussie te voeren over een onderwerp, maar het doel is om de discussie te ontregelen. Als je kijkt naar genrekenmerken van literaire teksten dan zou je het rapport van Meester indelen bij dadaïstisch proza. Kenmerk van het dadaïsme is dat kunst geen betekenis moet overbrengen maar betekenis moet ontregelen. In taal doe je dat met vage termen, ambiguïteit, onjuistheden, interne strijdigheden en niet-logische zinsverbanden zoals anakoloeten.

Het lijkt het doel te zijn: aandacht afleiden van reële problemen die de landbouw veroorzaakt en die afgewenteld worden op de burgers en boeren. Zie bijvoorbeeld het rapport van de Rekenkamer over de vogelgriep of het rapport van Deloitte over milieuschade.

In de retorica heet zoiets een 'red herring' (rode haring): de zaak stinkt en is bedoeld om je op een dwaalspoor te zetten. Dit zijn geen incidenten, dit is het patroon (zie ook het natuurbericht over de fictieve aanpak stikstof). De context bij de rapporten en discussies op agromedia is het zonder voorwaarden of garanties overhevelen van grote sommen publiek geld in de richting van een handjevol bedrijven.

Hoe wel?

Er zijn altijd goede discussies mogelijk – modellen zijn lastige dingen. Verantwoorde politieke besluitvorming op basis van wetenschappelijke inzichten is ook niet eenvoudig. De situatie waarin wetenschappers de besluiten dicteren, is zeer onwenselijk. De situatie waarbij de politiek systematisch wetenschappelijke adviezen negeert, is evenmin wenselijk. Wat wel kan, is jezelf een beetje wetenschapswijs maken. Wat weten we van natuur, wat weten we niet? Welke drogredenen zie je langskomen en hoe zit een kwaliteitsdiscussie in elkaar?

Om je op weg te helpen, hebben we een online collegereeks op ons YouTube-kanaal gezet. En in dit artikel bespreken we een aantal veel gebezigde misverstanden over natuurkwaliteit. Desinformatie ontkrachten wordt je niet altijd in dank afgenomen en soms krijg je te maken met persoonlijke aanvallen. In dit artikel staan interessante achtergronden bij ad hominem-argumenten.

Meer informatie

• Wat weten we van natuur? (online reeks).
• Rapport De illusie van een betrouwbare stikstof-modelwerkelijkheid.
• Veelgevonden misverstanden.
• Omgaan met ad hominem-argumenten.
• Artikel Juridische borging van beleid vereist betere samenhang tussen natuurmonitoring en evaluatie van beleid.

Tekst: Sander Turnhout, SoortenNL
Foto: Kars Veling (leadfoto: grootschalig grasland)