Home » Archief » Bello’s


[28.06.2012]

Bello’s

Jona Lendering


Illustratie: Werner Klemke

Stel, u doet onderzoek naar katten. Van twintig proefdieren meet u hoogte en breedte. De afmetingen van negentien katten blijken redelijk dicht bij elkaar te liggen, alleen één ervan, Bello genaamd, blijkt bijna eens zo hoog en breed. U bekijkt hun ogen en ziet dat ze allemaal groen of geel zijn, behalve de bruine kijkers van, alweer, Bello. U meet hoe ze spinnen, en alweer blijkt Bello sterk van de andere dieren af te wijken, want hij spint helemaal niet. Er komt een punt waarop u concludeert dat u Bello beter buiten de statistieken kunt houden.

In de wetenschap komt dit vaak voor. Bello’s kunnen het gevolg zijn van ruis in de apparatuur, maar kunnen zich ook voordoen als de onderzoekscategorieën niet scherp zijn. U tekent bijvoorbeeld een sterrenkaart en noteert van alle sterren coördinaten, maar u merkt dat, terwijl alle sterren voortdurend op dezelfde plaats staan, andere van plaats veranderen. Op uw sterrenkaart laat u ze achterwege. Misschien noemt u deze dwalende bello’s met een mooi Grieks woord ‘planeten’. Als u mensen bestudeert, kan een bello erop wijzen dat ze op u reageren. De klachtenlijn van Schiphol constateerde ooit dat sommige mensen tientallen keren per dag klaagden, en die werden voortaan buiten de statistieken gelaten omdat er geen informatie aan kon worden ontleend over de ontwikkeling van de overlast.

Iedere wetenschapper masseert de bello’s weg. Dat is een gezonde manier van doen; de jargonterm is “outliers“. Als ik het goed begrijp, is het verweer van de deze week in opspraak gekomen Rotterdamse hoogleraar Dirk Smeesters nu dat zijn meetgevens niet “too good to be true” waren doordat hij ze had verzonnen of er gruwelijk mee had zitten rommelen, maar dat hij de bello’s er te drastisch uit had gesloopt. Toen dit aanleiding was voor vragen over de oorspronkelijke gegevens, kon hij die niet meer tonen. Dit laatste kwam door een computercrash, en daarvoor voel ik wel enige sympathie. Het is oliedom om geen back-ups te maken, maar wie nooit bij een computercrash iets kwijtraakte, werpe de eerste steen.

Waar ik meer moeite mee heb, is Smeesters toelichting:

Er is een groot grijs gebied wat je wel meldt en wat niet. Er zijn ook geen regels voor. Ik zie nu dat ik het weglaten van gegevens wel had moeten melden, maar ik vind ook dat er betere regels voor moeten komen. Dat we moeten melden welke studies niet hebben gewerkt.

Misschien wreekt zich mijn deficiënte academische opleiding, maar ik zou toch denken dat er wel degelijk regels zijn. Van je twintig katten geef je netjes aan dat Bello sterk afwijkende resultaten opleverde. Dat is vervolgens de basis voor het toetsen van een groeiend vermoeden over de kwaliteit van de dierenhandel die de proefdieren leverde. Schiphol gaf keurig aan dat bepaalde reacties uit het onderzoek waren weggelaten, en kondigde een vervolgstudie aan om te ontdekken waarom bij sommige mensen frustratie leidt tot extreme reacties.

Ik ben niet overtuigd door Smeesters’ verweer dat er geen regels zijn. Als ze werkelijk niet bestaan, dan moet het zijn omdat de onderzoekers op hun klompen kunnen aanvoelen wat er van ze wordt verwacht. Ik heb bovendien een wat nare bijsmaak bij een ander deel van Smeesters’ antwoord, dat “velen gebruik maken van bewust weglaten van data om significantie te bereiken zonder dit te vermelden”.

Ofwel: het is niet erg want iedereen doet het. Dat iedereen het doet, zal waar zijn, en ik wil best geloven dat lang niet elke onderzoeker aangeeft hoe hij de data heeft gemasseerd. Maar het is geen excuus. Smeesters verwisselt “wat is de praktijk?” met “hoe hoort het eigenlijk?”

De hamvraag is: waarom heeft niemand er dan iets van gezegd? Ik vermoed dat het komt doordat het werk van onderzoekers wordt gecontroleerd door collega’s. Als iedereen nogal nonchalant omgaat met de data, en er dus een cultuur begint te groeien waarin het er allemaal niet zoveel toe doet, kun je er keer op keer mee wegkomen. Maar daarmee is het nog niet goed. De verantwoordelijkheid is alleen uitgesmeerd.

Vandaar de conclusie in mijn vorige stuk over Smeesters dat we eens serieus moeten gaan kijken naar de wijze waarop wetenschappelijke informatie en instellingen worden gecontroleerd. Terwijl bijvoorbeeld de onderzoekers van Schiphol wél weten hoe je met bello’s moet omgaan, bestaat er in de sociale psychologie een andere cultuur. Dan is er dus een fout in de collegiale controle.

Een mogelijke oplossing zou zijn dat elk jaar een bepaald aantal studies wordt geselecteerd en door statistici en logici wordt doorgelicht. Een andere oplossing is dat de commissies die fondsen toekennen, ook bestaan uit niet-vakgenoten. Enkele van de problemen die ik in de oudheidkunde constateer, zouden zich niet hebben voorgedaan als af en toe een socioloog naar de onderzoeksvoorstellen had gekeken.

Maar ik denk eerlijk gezegd dat dit soort oplossingen te weinig zijn, en dat we ons veel structureler moeten bezinnen op het wetenschappelijk bedrijf. Vandaar dat ik pleit voor een grondige evaluatie op het gehele bestel, of, eigenlijk, een soort Business Process Redesign. De conclusie kan dan zijn dat de kloof tussen “wat is de praktijk?” en “hoe hoort het eigenlijk?” te groot is en we helemaal van voren af aan moeten beginnen, en ze kan ook luiden dat de kloof gewoon groot is, en dat wat kleine aanpassingen volstaan om het vertrouwen te herstellen.

Historicus Jona Lendering won in 2010 de Oikos Publieksprijs. Lees zijn boeken. Meld u aan voor een cursus op Lenderings onderwijsinstituut Livius. Uw leven wordt erdoor verrijkt.

Jona Lendering, 28.06.2012 @ 09:00

[Home]
 

3 Reacties

op 28 06 2012 at 12:24 schreef MarcodB:

Ik ben het helemaal eens met Jona dat een Process Redesign nodig is. Sterker nog: Ik weet uit de eigen ervaring dat zoiets niet alleen kan, maar ook nog eens geweldig werkt. Hier beschrijf ik hoe het gaat in de Big Science:
http://activescience.wordpress.com/2012/03/18/een-model-om-wetenschapsfraude-onmogelijk-te-maken-datavergaring-en-analyse-in-de-big-science/

op 28 06 2012 at 13:40 schreef Sabian:

Helder betoog weer Jona! Mij bekruipt het gevoel dat er iets heel diep heel erg mis is met iemand die zich wetenschapper noemt en ondertussen als een onderbuikende Sabian feitjes gaat zitten morfen om z’n mening of wens of product of these te redden. Dat is gewoon puur vandalisme van het vak. Het stuktrappen van onze enige hoop op een betere wereld, objectieve en op waarheidsvinding gerichte wetenschap, is een misdaad. Zoals mijn vertrouwen in de ‘pliesie’ weggeslagen is, is het vertrouwen in de ‘wetenschap’ of het academisch onderwijs al jaren aan rotting onderhevig. Wie kun je nog vertrouwen dan?

op 28 06 2012 at 13:45 schreef MrOoijer:

“De hamvraag is: waarom heeft niemand er dan iets van gezegd? ”
Omdat hele vakgroepen dit doen. Ik publiceerde al over Stapel-Vonk voordat de fraude van Stapel bekend werd, en ik vond cijfers die niet klopten en statistiek die niet deugde. Later had ik daar een on-line discussie met (Dr.!) Jules Ellis over, de huismethodoloog van Soc. Psych. in Nijmegen. Mijn technische bezwaar was: de steekproef is te klein om de T-toets toe te passen. Een andere toets was beter geweest. Zijn antwoord was letterlijk : “Om alleen een nonparametrische toets te doen, zoals u lijkt te suggereren, heeft als bezwaar dat dit in sommige gevallen tot een groot verlies aan power leidt.” Met andere woorden – deze methodoloog is niet bezig met statistische gestrengheid, maar met het zoeken van dubieuze methoden om significantie te laten zien. Smeesters heeft gelijk: ze doen het (bijna) allemaal. Zo leren ze het.

Nieuwe reactie
Naam:
E-mail:
Homepage:
  Afbeelding invoegen
 

 


Home

Archief

 

Become a Patron!
 

Let op: Toelating van reacties en publicatie van opiniestukken van anderen dan de hoofdredacteur zelf betekent geenszins dat hij het met de inhoud ervan eens is.

 

pbgif (88k image)
 

Vermaakt u zich een beetje met deze site? Laat uw waardering blijken met een kleine donatie (grote mag ook!): NL59 RABO 0393 4449 61 (SWIFT BIC RABONL2U) o.v.v. ‘Frontaal Naakt’.

 

pbgif (88k image)
 

MEEST GELEZEN IN JULI

O De zoveelste sloopactie door de vrouwenhaters van GeenStijl tegen Sigrid Kaag

O Hoe de Wokies BIJ1 van binnenuit aan het slopen zijn

O Wie zijn toch die mensen die feestvieren om de dood van Peter R. de Vries?

O Jullie hebben het allemáál verkloot

O Vijf tips voor een seksisme-vrij debat

O Blootgewoon! is gebaseerd op mythes en onbewezen stellingen

O Als journalisten geen kritiek willen, moeten ze hun werk beter doen

O Nederland moet excuses aanbieden én herstelbetalingen doen voor de slavernij

O Rutte wil ons dood hebben! Wil Rutte ons dood hebben?

O YouPorn

 

MEEST GELEZEN EVER

O YouPorn

O Hoi, Jesse Klaver, ik heb geen zin om te boeten voor jouw papatijd

O De koning van het uittrekken van de damesslip

O Ik word vervolgd wegens belediging van een seriebelediger

O Verplicht naakt douchen op school, jongens en meisjes bij elkaar

O Ga je nu Wierd Duk ontslaan, Telegraaf?

O Ik ga naar Japan verhuizen

O Hoi, Onderwijsraad, zit de mensen eens niet zo in hun nek te hijgen!

O Kappen met je hypocriete gejank, landgenoten, je racisme schijnt door

O Lekker hitsen tegen migranten met Wierd Duk en Lucas Hartong

 

pbgif (88k image)
 

CONTACT
Stuur uw loftuitingen en steunbetuigingen naar Frontaal Naakt.

 

NIEUWSBRIEF
Ontvang gratis de Frontaal Naakt nieuwsbrief.

 

pbgif (88k image)
 

BLURBS
“How does it feel to be famous, Peter?” (David Bowie)

“Frontaal Naakt dient een publiek belang” (mr. P.L.C.M. Ficq, politierechter)

“Peter schrijft hartstochtelijk, natuurlijk beargumenteerd, maar zijn stijl volgt het ritme van zijn hart.” (Hafid Bouazza).

“Ik vind dat je beter schrijft dan Hitler” (Ionica Smeets)

“Jij levert toch wel het bewijs dat prachtige columns ook op weblogs (en niet alleen in de oude media) verschijnen.” (Femke Halsema)

“Literaire Spartacus” (André Holterman)

“Wie verlost me van die vieze vuile tiefuslul?” (Lodewijk Asscher cs)

“Pijnlijk treffend” (Sylvana Simons)

네덜란드 매체 프론탈 나크트(Frontaal Naakt)에 따르면, 네덜란드 라 (MT News)

“Echt intelligente mensen zoals Peter Breedveld.” (Candy Dulfer)

“De Kanye West van de Nederlandse journalistiek.” (Aicha Qandisha)

“Vieze gore domme shit” (Tofik Dibi)

“Ik denk dat de geschiedenis zal uitmaken dat Peter Breedveld de Multatuli van deze tijd is.” (Esther Gasseling)

“Nu weet ik het zeker. Jij bent de antichrist.” (Sylvia Witteman)

“Ik ben dol op Peter. Peter moet blijven.” (Sheila Sitalsing)

“Ik vind hem vaak te heftig” (Hans Laroes)

“Schrijver bij wie iedereen verbleekt, weergaloos, dodelijk eerlijk. Om in je broek te piesen, zo grappig. Perfecte billen.” (Hassnae Bouazza)

“Scherpe confrontatie, zelfs als die soms over grenzen van smaak heen gaat, is een essentieel onderdeel van een gezonde democratie.” (Lousewies van der Laan)

“Ik moet enorm lachen om alles wat Peter Breedveld roept.” (Naeeda Aurangzeb)

“We kunnen niet zonder jouw geluid in dit land” (Petra Stienen)

“De scherpste online columnist van Nederland” (Francisco van Jole)

“Elk woord van jou is gemeen, dat hoort bij de provocateur en de polemist, nietsontziendheid is een vak” (Nausicaa Marbe)

“Als Peter Breedveld zich kwaad maakt, dan wordt het internet weer een stukje mooier. Wat kan die gast schrijven.” (Hollandse Hufters)

“De kritische en vlijmscherpe blogger Peter Breedveld” (Joop.nl)

“Frontaal Naakt, waar het verzet tegen moslimhaat bijna altijd in libertijnse vorm wordt gegoten.” (Hans Beerekamp – NRC Handelsblad)

“De grootste lul van Nederland” (GeenStijl)

“Verder vermaak ik mij prima bij Peter Breedveld. Een groot schrijver.” (Bert Brussen)

“Landverrader” (Ehsan Jami)

“You are an icon!” (Dunya Henya)

“De mooie stukken van Peter Breedveld, die op Frontaal Naakt tegen de maatschappelijke stroom in zwemt.” (Sargasso)

‘De website Frontaal Naakt is een toonbeeld van smaak en intellect.’ (Elsevier weekblad)

“Frontaal Gestoord ben je!” (Frits ‘bonnetje’ Huffnagel)

“Jouw blogs maken hongerig Peter. Leeshonger, eethonger, sekshonger, geweldhonger, ik heb het allemaal gekregen na het lezen van Frontaal Naakt.” (Joyce Brekelmans)

‘Fucking goed geschreven en met de vinger op de zere plek van het multicultidebat.’ (jury Dutch Bloggies 2009)

Frontaal Naakt is een buitengewoon intelligent en kunstig geschreven, even confronterend als origineel weblog waar ook de reacties en discussies er vaak toe doen.’ (jury Dutch Bloggies 2008)

‘Intellectuele stukken die mooi zijn geschreven; confronterend, fel en scherp.’ (Revu)

‘Extreem-rechtse website’ (NRC Handelsblad)

‘De meeste Nederlanders zijn van buitengewoon beschaafde huize, uitzonderingen als Peter Breedveld daargelaten.’ (Anil Ramdas)

‘Peter Breedveld verrast!’ (Nederlandse Moslim Omroep)

‘Breedveld is voor de duvel nog niet bang’ (Jeroen Mirck)

‘Nog een geluk dat er iemand bestaat als Peter Breedveld.’ (Max J. Molovich)

‘Godskolere, ik heb me toch over je gedróómd! Schandalig gewoon.’ (Laurence Blik)

 

pbgif (88k image)
 

 

(Advertentie)
 

 

pbgif (88k image)
 

LINKS

 

 

RSS RSS