Opinie: Wat is wetenschap? Over feitenbrij als afleiding

Wat het rapport van Ronald Meester, getiteld ‘De illusie van een betrouwbare stikstof-modelwerkelijkheid’ precies is, is niet helemaal duidelijk, maar wetenschap is het in ieder geval niet. Over wetenschap kun je heel goed ingewikkelde discussies voeren, maar als je wil dat die ook ergens toe leiden, dan helpt het als je de kaders duidelijk neerzet. Wetenschappers hebben geen patent op de eeuwigdurende waarheid en daarom zijn er spelregels bedacht. Hoe de regels precies werken, verschilt per vakgebied, maar in de basis moet je falsificeren en rectificeren, en je data recht doen. Falsificatie werkt twee kanten op: je moet aantonen wat er aan de bestaande kennis niet voldoet en om dat mogelijk te maken voor anderen moet je ook zelf controleerbare uitspraken doen. Aan de bètakant betekent dat vaak, dat experimenten herhaalbaar moeten zijn, aan de alfa- en gammakant betekent het dat je bronnen traceerbaar en controleerbaar moeten zijn. Rectificatie betekent, dat je evidente fouten moet corrigeren.

Charlatans

Precies hier gaat het mis bij veel flauwekulstudies en schotschriften over natuurkwaliteit, die we de afgelopen jaren voorbij hebben zien komen. Ze falsificeren niet, praten in vaagtaal en rectificeren hun fouten niet op correcte wijze. Belangrijker dan dat er eindeloos veel fouten gemaakt worden, is de constatering dat de spelregels gebroken worden. Fouten kun je weerleggen in een inhoudelijk debat, dat je voert op basis van argumenten. Maar als de spelregels systematisch met voeten getreden worden, kun je weerleggen wat je wil, maar leidt het debat niet tot nieuwe inzichten. Ik kan mij goed vinden in de kwalificatie van emeritus hoogleraar Bruil: het zijn charlatans. Niet omdat ze ongelijk hebben, maar omdat ze de meest basale spelregels overtreden. Ze falsificeren niet en ze rectificeren niet. Ze leveren geen bijdrage aan een inhoudelijke discussie, maar proberen de discussie te laten ontsporen. Ronald Meester is hierin niet anders.

Waar gaat het mis?

Hoe het precies misgaat, kun je herkennen aan het feit dat je een bouillonblokje nodig hebt om een liter water te vermenigvuldigen met de kritisch metaforische depositiewaarde, waaruit blijkt dat de zaak significant anders in elkaar blijkt te zitten dan in het maakbaarheidsframe wordt voorgesteld. U denkt: pardon? Inderdaad, dit is letterbrij.

Maar dit is precies wat er in het rapport van Meester gebeurt. Er worden lukraak ongedefinieerde, interessant klinkende begrippen op een hoop gegooid en er staan wat voetnoten bij, die soms verwijzen naar erkende bronnen maar soms ook naar zeer controversiële rimram. Uiteindelijk wordt duidelijk dat ‘het allemaal niet deugt'. Wat niet? Het wereldbeeld. Waarom niet? Nou, gewoon. Dit is de eerste zin van het rapport:

''Ik heb allereerst vastgesteld dat de natuurdoelanalyses (NDA’s) en de adviezen van de Ecologische Autoriteit (EA) blijk geven van een ‘maakbaar’ wereldbeeld, waarin metaforische knoppen zijn bedacht waar we aan kunnen draaien teneinde een bepaald doel te bereiken.''

Een lekkere binnenkomer. Ik stel allereerst vast dat de ‘metaforische knoppen’ een verzinsel zijn van Ronald Meester. Toon mij die knoppen, beschrijf wat ze doen. Zeker als je ze wil relateren aan een ‘maakbaar wereldbeeld’, moet je scherp zijn in je definities. Zoals het er nu staat, is het statement niet falsificeerbaar en valt het in de categorie ‘tendentieuze borrelpraat’. In de tweede zin schakelt Meester door van vaagtaal naar drogreden:

''Kritische depositiewaardes (KDW’s) zijn in dit wereldbeeld unieke en exacte getallen.''

Dit gaat over het wereldbeeld dat Meester zelf verzonnen heeft. In de wetenschappelijke wereld zijn Kritische Depositiewaarden namelijk ranges. Deze drogreden noemen we een stroman: Meester doet net alsof er mensen zijn die iets heel doms vinden, om daar vervolgens de strijd mee aan te binden. Lekker makkelijk.  Maar die mensen bestaan niet: het zijn strooien poppen, waarmee Meester riddertje wil spelen. Hij kan winnen, omdat stropoppen niet terugvechten. Van de echte ecologen kan Meester de discussie niet winnen, want die spreken over het algemeen genuanceerd, en in termen van marges en percentages, omdat ze weten dat natuur zelden binair, zwart of wit werkt. De derde zin is een loze kreet en de vierde is – wederom – een drogreden:

''Uitkomsten van Aerius/OPS-berekeningen zijn reëel en worden zonder marges of onzekerheden gebruikt. De natuur zal herstellen als de depositie onder de KDW komt, en boven de KDW zal of kan stikstofdepositie ‘significante’ schade aan de natuur toebrengen.''

Loze kreet

Eerst maar eens de loze kreet. Wat ontbreekt, is door wie de uitkomsten gebruikt worden – en waarvoor precies. Er is discussie over waar Aerius wel of niet voor gebruikt kan worden. Maar dat de uitkomsten gebruikt worden voor doeleinden waar het model niet precies genoeg voor is, is niet bedacht door ecologen of de Ecologische Autoriteit. Het is het resultaat van bewust politieke domheid van de landbouwlobby. De context doet ertoe.

Het vastgelopen landbouwbeleid had, na het falen van het toetsingskader ammoniak, ernstig de behoefte aan een model dat ontwikkelruimte kon beloven, die er feitelijk niet was. Niet alleen kritische ecologen, maar ook bestuurskundigen en juristen waarschuwden er scherp voor. Maar onder andere op voorspraak van de huidige voorzitter van de LTO werd het model ingevoerd. Nu het model ook gaat beperken, deugt het ineens niet meer. Ja, dank je de koekoek. Dit probleem wordt niet veroorzaakt door het wereldbeeld van de Ecologische Autoriteit, of door het feit dat ecologen werken met statistische significantie, het wordt veroorzaakt door een intensieve lobby, die de politiek keer op keer overtuigt van 'foplossingen'.

Dan de tweede drogreden: dat de natuur zal herstellen als de stikstofdepositie maar onder de KDW komt, zegt helemaal niemand in de ecologische wetenschap. En ook in alle provinciale plannen en alle natuurdoelanalyses van de Ecologische Autoriteit wordt – in meerdere of mindere mate – recht gedaan aan het feit dat we te maken hebben met een integrale opgave waarin, naast stikstof, allerlei andere omgevingsfactoren een rol spelen.

Dit waren nog maar de eerste vier zinnen

We zijn pas vier zinnen op weg, maar de toon is gezet. Meester falsificeert bestaande kennis niet, maar legt wel niet-falsificeerbare vaagtaal op tafel, opgefrist met hier en daar een kraakheldere leugen. Bijvoorbeeld op pagina 3 van het rapport:

"Voor alle duidelijkheid, stikstofdepositie wordt niet zélf gemeten."

En meteen daaronder:

"Er wordt veel beweerd over stikstof, maar er is vrijwel geen enkele kwantitatieve claim die daadwerkelijk controleerbaar is."

Beide zijn onjuist. We meten ons in Nederland een ongeluk. Er zijn verschillende metingen en herhaalmetingen van stikstofdepositie en ook de effecten van stikstofdepositie worden op allerlei manieren gemeten. Daarnaast zijn er honderden veldonderzoeken en laboratoriumexperimenten uitgevoerd omtrent de negatieve effecten van stikstof, in binnen- en buitenland. Daar wordt niet uit geciteerd, laat staan dat er bestaande inzichten uit al die onderzoeken – op correcte wijze – gefalsificeerd worden.

De opdracht

Waar komt deze koekenbakkerij vandaan? Het treurige antwoord is: vanuit het kabinet. Nadat het beleid om zeep geholpen was en de financiële middelen waren weggegeven, werd duidelijk dat ook de problemen nog weggetoverd moesten worden. De vooringenomenheid van Meester is dezelfde vooringenomenheid waar de bewindspersonen van de BBB last van hebben. Een BBB Eerste Kamerlid liet dat treffend optekenen in Trouw: "Ik weet niet hoe ze die onderzoeken doen, maar het klopt niet."

Ronald Meester heeft de vraag gekregen om een onafhankelijke reflectie te geven op de natuurdoelanalyses van de Ecologische Autoriteit. Klopt het wel? De Ecologische Autoriteit heeft van het kabinet de opdracht om een onafhankelijke review te doen van de plannen van de provincie. Ook hier: klopt het wel?

Controleer de controleurs

Het is in de basis heel goed om ook de controleurs te controleren. Maar het helpt dan wel als je een beetje weet waar je het over hebt en recht doet aan de manier van werken die je wordt geacht te controleren. De Ecologische Autoriteit gaat namelijk niet uit van hun eigen gelijk, maar ze organiseren per plan een onafhankelijke review. Dat werkt als volgt: als de provincie een plan maakt voor laten we zeggen het Korenburgerveen, dan wordt dat plan onder de loep genomen door mensen met verstand van hoogveen, de soorten waarvoor het gebied is aangewezen en de maatregelen die worden voorgesteld. Voorwaarde is dat de betrokken experts geen rol hebben gespeeld bij de totstandkoming van het plan – dit om de onafhankelijkheid te waarborgen. Het team van onafhankelijke experts formuleert uiteindelijk de review. De vraag voor Meester is dan niet zozeer: klopt het? Als wel: is dit een deugdelijke werkwijze en wordt die correct uitgevoerd? Hij zet het zelf als volgt neer:

''In deze notitie onderzoek ik een aantal zaken in relatie tot statistische onzekerheid van stikstofdepositie en de bijbehorende vergunningverlening in de context van de natuurdoelanalyses (NDA’s) en de corresponderende adviezen van de Ecologische Autoriteit (EA).''

Ik citeer het maar even, want wartaal parafraseren is niet zonder risico’s. In de realiteit zijn de vergunningen namelijk al verleend, zijn de problemen al ontstaan en hebben de provincies, na jaren voortmodderen, natuurdoelanalyses gemaakt waarop de Ecologische Autoriteit een onafhankelijke review heeft georganiseerd om te kijken of die plannen een beetje voldoen.  

Statistische onzekerheid

We doen nog een poging: Meester onderzoekt een aantal zaken (welke?) in relatie tot de statistische onzekerheid van stikstofdepositie (wat betekent dit?) en de bijbehorende (hoezo bijbehorend? Waarbij? Hoe?) vergunningverlening in de context van de natuurdoelanalyses (vergunningverlening in de context van de natuurdoelanalyses? Wat is hier de relatie?) en de corresponderende (?) adviezen van de Ecologische Autoriteit.

Als ik opdrachtgever zou zijn, zou ik hier niet voor betalen. Het is een beetje alsof je je badkamer wil laten vernieuwen en je krijgt een voorstel van de aannemer om de boel te slopen, van de tegelscherven een tuinpad te maken, de kalk in te zetten tegen de verzuring van de vennen in Brabant, het houtwerk op te stoken en de rest van de troep te verstoppen onder het douchegordijn waarna je een wastobbe plaatst zonder afvoer. Je kunt het allemaal doen maar het wordt geen badkamer.

Chat GPT bewijst mijn gelijk

Maar vanaf hier wordt het erger. Meester verwijt de Ecologische Autoriteit dat ze te weinig kritiek hebben op de provinciale plannen en de ecologische beoordelingen van de reviewers omdat zij geloven in statistische significantie, een begrip uit de wiskunde waar Meester een heel eigen kijk op heeft. Hij onderbouwt het allemaal met ChatGPT, omdat:

''Ik was vooral geïnteresseerd in het ‘wereldbeeld’ dat spreekt uit de NDA’s en de adviezen;''

Siri, toon mij onzin. En verhip! Je krijgt onzin, wat een verrassing. Hij geeft ‘representatieve citaten’, zoals op respectievelijk pagina 11 en 20:

''De kamsalamander is gevoelig voor stikstof wanneer door eutrofiëring zuurstofgebrek optreedt in zijn leefgebied, habitattype H3130. Dat gebeurt pas bij een hogere depositie dan de KDW van het habitattype H3130 (571 mol N/ha/jaar).''

“De kritische depositie waarde (KDW) wordt daarbij als volgt gedefinieerd: ‘De grens waarboven het risico bestaat dat de kwaliteit van het habitat significant wordt aangetast door de verzurende en/of vermestende invloed van atmosferische stikstofdepositie.’”

En dan zegt hij:

''Het beeld is hiermee wel duidelijk. De KDW wordt zonder omhaal gebruikt als een unieke waarde; merk op dat bijvoorbeeld in het laatste citaat gesproken wordt over “de” grens waarboven iets gebeurt. Onder de KDW is er binnen deze visie geen probleem, daarboven wel.''

Dit is geen falsificatie, dit is eersteklas flauwekul. Falsificatie is aantonen dat de metingen niet kloppen of dat het onderzoek naar die kamsalamanders ondeugdelijk is gedaan. Opmerken dat iets getuigt van het verkeerde wereldbeeld is geen falsificatie. De zin over de grens waarboven iets gebeurt is opnieuw een stroman. Er wordt geen ‘onder KDW geen probleem, boven KDW wel’ uitspraak gedaan, er wordt gesproken over een risico. Dat is in de context van de Habitatrichtlijn, waarbij verslechtering met zekerheid uitgesloten moet worden, zeer relevant. Meester citeert verkeerd, nota bene uit een citaat dat hij zelf geeft.

Dit zijn geen slippertjes of incidenten: het aantal gemankeerde mededelingen loopt ver over de 100. In een rapportje van 70 pagina’s met letterpunt 12 en een regelafstand van 1,5 moet je daar serieus je best voor doen, zeker ook omdat het aantal citaten breed wordt uitgemeten en de ‘analyse’, door de vele herhalingen, weinig ruimte in beslag neemt. De conclusie is dan ook duidelijk:

''Ter illustratie en bevestiging van onze bevindingen hebben we een ChatGPT prompt ontworpen om het beeld dat we hebben te verifiëren.''

Een sluitende redenering. De bevindingen moesten bevestigd worden en daarom heeft hij een ChatGPT-zoekopdracht ontworpen die onze bevinden bevestigt. Problematisch is natuurlijk dat je er met zo’n methode nooit achter komt of je misschien ook ongelijk had kunnen hebben. Want de ChatGPT-prompt doet helemaal niets met de honderden rapporten, analyses en experimenten die er in de ecologie gedaan zijn. Siri, bewijs mijn gelijk. Et voilá! Ik heb gelijk, de computer zegt het zelf.

De twijfelbrigade

Net zoals data betekenis krijgen in een context van onderzoek en analyse, is het ook van belang om de context van de flauwekul mee te nemen in de analyse. De letterbrij komt niet op spontane wijze tot stand – er wordt om gevraagd en het dient een doel.

In de wetenschap is twijfel een nuttig instrument dat je analyse kan scherpen, maar het is niet het eindproduct. Meester komt niet voorbij de constatering dat je iets kunt betwijfelen. Hij bouwt een cirkelredenatie op in een parallel universum, waarbij er maar één ding duidelijk is: je kunt overal je vraagtekens bij plaatsen. Alles leuk en aardig, maar dat kan altijd. Eén gek kan meer vragen stellen dan duizend wijzen kunnen beantwoorden. U kunt zich net zo goed afvragen of ik deze tekst wel geschreven heb. De interpretatie vindt immers plaats in uw hoofd, u leest dit, u kent betekenis toe aan de woorden. Ik doe niet ter zake. Besta ik eigenlijk wel? Hoe weet u dat dan zeker? Hartstikke lollig natuurlijk in postmoderne literatuur, of in films zoals Fight Club, maar in een rapport dat pretendeert analytisch te zijn, kun je er niet veel mee. Deze kritiek geldt breder dan het rapport van Meester.

Behalve niet correct falsificeren, zie je in veel gemankeerde discussies over (on)zekerheden veel misbruik van twijfel. Twijfel leidt dan niet tot verbeterde zekerheid, maar zekerheid wordt omgezet in twijfel. Het is van belang dat veel van de discussies over metingen en modellen niet worden gevoerd op een wetenschappelijk podium maar op internetforums en in agromedia, waar wetenschappelijke spelregels over falsificatie en rectificatie – maar ook over correct gebruik van bronnen en recht doen aan context – niet worden gehandhaafd. Flauwekul staat in een context van verwarring en propaganda, zoals data staan in een context van argumentatie en analyse.

Opschalen van onzin

Wat het rapport van Meester laat zien, is dat de landbouw niet meer genoeg heeft aan de gebruikelijke 'cherry-picking' in de lobby, maar dat ze nu zijn overgestapt naar full scale nonsens. Als je een verkeerde berekening presenteert, kun je nog zeggen: "Dat is een verkeerde berekening, hier zit de fout en dit is de juiste berekening." Als je de drempelwaarde manipuleert, kun je zeggen: "Jij verzint hier je eigen drempelwaarde en dat mag niet, die moet je namelijk vaststellen in metingen." Maar als je de wartaalkraan vol openzet, weet je zo 1,2,3 niet wat je daar tegenin moet brengen.

Steve Banon, een Amerikaans zakenman en politicus, noemt dat "flooding the zone with shit". Je slaat met zoveel onzin in de rondte dat redelijkheid letterlijk verstomt, simpelweg omdat het overspoeld wordt. Chaos en verwarring worden gebruikt als wapens om de status quo te verdedigen tegen nieuwe inzichten en verhoudingen.

Het probleem is niet zozeer dat het inhoudelijk niet deugt wat de door Bruil terecht als ‘charlatan’ betitelde mensen te berde brengen, maar het probleem is dat de nonsens van zo’n ordegrootte is dat een inhoudelijke discussie onmogelijk wordt. Dat lijkt het doel te zijn: aandacht afleiden van reële problemen die de landbouw veroorzaakt en die afgewentelen op de burgers en boeren. Zie bijvoorbeeld het rapport van de Rekenkamer over de vogelgriep of het rapport van Deloitte over milieuschade.

In de retorica heet zoiets een 'red herring' (rode haring): de zaak stinkt en is bedoeld om je op een dwaalspoor te zetten. De burgers betalen drie keer. Vooraf zijn er immers forse investeringen nodig om ervoor te zorgen dat de sector binnen de kaders van wet en wetenschap gaat opereren. Maar de miljarden worden geïnvesteerd in schaalvergroting en technologie waarmee systematisch minder schoon en efficiënt gewerkt kan worden dan vooraf was beloofd. Dus na een tijdje voortmodderen, zijn er forse bedragen nodig om de gratis uitgedeelde ruimte terug te kopen. De derde rekening is, dat het maatschappelijke probleem intussen groter is geworden. Economische ontwikkelingen vallen stil en de maatschappelijke kosten van vervuiling stapelen zich op, wat zich vertaalt in sterfte en steeds duurder en schaarser drinkwater. Dit zijn geen incidenten, dit is het patroon (zie ook het natuurbericht over de fictieve aanpak stikstof). De context bij de foprapporten en non-discussies op agromedia is het zonder voorwaarden of garanties overhevelen van grote sommen publiek geld in de richting van een handjevol bedrijven. In die zin hebben het rapport van Meester en het voorstel van LTO en IPO met elkaar te maken.

Hoe wel?

Er zijn altijd goede discussies mogelijk – modellen zijn lastige dingen. Verantwoorde politieke besluitvorming op basis van wetenschappelijke inzichten is ook niet eenvoudig. De situatie waarin wetenschappers de besluiten dicteren is zeer onwenselijk. De situatie waarbij de politiek systematisch wetenschappelijke adviezen negeert is evenmin wenselijk. Wat wel kan, is jezelf een beetje wetenschapswijs maken. Wat weten we van natuur, wat weten we niet? Welke drogredenen zie je langskomen en hoe zit een kwaliteitsdiscussie in elkaar?

Om je op weg te helpen, hebben we een online collegereeks op ons YouTube-kanaal gezet. En in dit artikel bespreken we een aantal veel gebezigde misverstanden over natuurkwaliteit.

Tekst: Sander Turnhout, SoortenNL
Foto: Kars Veling (leadfoto: grootschalig grasland)