De fleste forskere kender følelsen: Man har brugt måneder på et eksperiment, resultaterne er klare – og så viser de ingenting. Tomme resultater bliver ofte lagt i skuffen, men måske er de vigtigere, end vi tror.

Ga ikke glip af disse

4 relaterede indlaeg

Forskningskultur: Null results offentliggøres sjældent · Springer Nature: Null results kan inspirere nye hypoteser · EGAP Methods: Fejl i design kan skabe null results
1
Hvad er et null resultat?
Et null resultat betyder, at en undersøgelse ikke finder en statistisk signifikant effekt – hverken positiv eller negativ.
2
Hvorfor skjules de?
Publikationsbias og karrierehensyn gør, at null results sjældent offentliggøres.
3
Hvad kan de lære os?
De kan forhindre spildt arbejde, inspirere nye hypoteser og kortlægge, hvad der ikke virker.
4
Hvordan håndteres de?
Med ærlig rapportering, præregistrering og fokus på effektstørrelser og konfidensintervaller.

Hvad er null results egentlig?

Et null resultat betyder, at en undersøgelse ikke finder en statistisk signifikant effekt af den intervention eller sammenhæng, man undersøgte. Det kan ske af mange grunde: Måske er effekten for lille til at blive fanget, måske er stikprøven for lille, eller måske er der slet ingen effekt. Det er ikke det samme som “ingen forskning” – de er et resultat, der faktisk siger noget om verden.

Alligevel har null results et rygteteater: De bliver ofte set som fejl eller spild af tid. Forskere og metodologer begynder at argumentere for, at null results er en nødvendig brik i videnskabens puslespil – ikke bare for at undgå gentagne forsøg, men fordi de kan føre til nye erkendelser.

Slutsats: Null results er ikke fiaskoer – de er data, der kan forhindre spildt arbejde og åbne nye forskningsspor, hvis de håndteres med samme stringens som “positive” resultater.

Null-hypotesen: Videnskabens stille fundament

Kort sagt er null-hypotesen (H0) den antagelse, at der ikke er nogen forskel eller sammenhæng i den population, du undersøger. Det lyder banalt, men null-hypotesen er faktisk et af de vigtigste værktøjer i videnskaben. Uden den ville du ikke kunne vurdere, om dine resultater skyldes en reel effekt eller bare tilfældigheder.

Når forskere taler om “statistisk signifikans”, måler de faktisk, om de kan afvise null-hypotesen. Hvis de ikke kan det, har de et null resultat. Men det betyder ikke, at hypotesen er sand – det betyder bare, at der ikke er nok beviser til at forkaste den.

Vidste du? Null-hypotesen tvinger forskere til at være skeptiske over for deres egne forventninger – og det er netop den skepsis, der gør null results værdifulde.

Hvorfor offentliggøres null results så sjældent?

Forskere selv kan også være tilbageholdende med at sende null results ind, fordi de frygter, at det vil skade deres omdømme eller karriere. Men paradokset er, at denne skævhed forvrænger den samlede videnskabelige viden. Hvis alle null results gemmes væk, vil metaanalyser – der samler resultater fra mange studier – komme til at overvurdere effekter, fordi de kun ser de “positive” resultater. Det kan forhindre duplikering af unødvendig forskning – men kun hvis de faktisk bliver offentliggjort.

Faktisk viser Springer Nature (videnskabelig forlagsgruppe), at forskere ofte vælger at “lægge null results i skuffen” – et udtryk, der beskriver, hvordan upublicerede resultater forsvinder fra den videnskabelige samtale. Det er et tab for hele forskningssamfundet, fordi andre forskere ikke kan lære af de fejl eller mangler, der førte til null resultatet.

Paradokset: Jo flere null results vi skjuler, jo mere forvrænget bliver vores billede af virkeligheden.
Kort fortalt: Publikationsbias fører til, at positive resultater offentliggøres oftere end null results – og det kan få metaanalyser til at overvurdere effekter.

Hvordan fortolker man et null resultat?

Når du står med et null resultat – eller læser en artikel med et – er der flere ting, du bør overveje, før du drager konklusioner. EGAP Methods (forskningsmetodeguide fra statskundskabsmiljøet) understreger, at et null resultat kan skyldes problemer med design eller måling. Måske har du målt det forkerte, eller måske var dit måleinstrument ikke følsomt nok.

Derudover peger EGAP Methods (forskningsmetodeguide) på, at “spillover” eller klyngede behandlingseffekter kan producere et null resultat, hvis designet ikke tager højde for dem. Med andre ord: Hvis din intervention påvirker kontrolgruppen indirekte, kan forskellen mellem grupperne blive udvisket – og så får du et null resultat, selvom der faktisk er en effekt.

Endelig skal du huske, at et null resultat ikke er det samme som et negativt resultat. Et negativt resultat viser, at der er en effekt, men i den modsatte retning af forventet. Et null resultat viser derimod, at der ingen målbar effekt er – i hvert fald ikke med det aktuelle design og den aktuelle stikprøve. Det betyder ikke, at du har “bevist”, at der ikke er nogen effekt – det kan simpelthen være, at undersøgelsen ikke havde nok statistisk styrke.

Det vigtige spørgsmål: Er dit null resultat et udtryk for fravær af effekt – eller fravær af evne til at måle effekten? Det er forskellen mellem en konklusion og en invitation til mere forskning.

Null results i forskellige fagområder

Null results er ikke et homogent fænomen – de varierer på tværs af fagområder. De er ikke homogene på tværs af sprog. Det betyder, at et null resultat i ét sprog eller én kontekst ikke nødvendigvis kan overføres til en anden.

EGAP Methods (forskningsmetodeguide) giver konkrete råd til, hvordan man fortolker null results i felteksperimenter – og understreger, at et null resultat kan være lige så informativt som et positivt resultat, hvis det rapporteres med samme omhu.

Hvad skal man være opmærksom på: Null results i ét fagområde kan betyde noget helt andet i et andet. Konteksten er afgørende – både når man designer et studie, og når man læser andres resultater.

Hvad kan null results lære os?

Selvom null results ofte bliver opfattet som skuffelser, kan de faktisk være en kilde til ny viden. De kan inspirere nye hypoteser eller metoder. Hvis din undersøgelse ikke finder en effekt, kan det være et tegn på, at du skal tænke anderledes om dit forskningsspørgsmål – eller om den måde, du måler det på.

Derudover kan null results fungere som en slags “kortlægning” af, hvad der ikke virker. De er ikke det samme som ingen forskning – de er et resultat, der fortæller os noget om grænserne for vores viden og vores metoder. Forskere opfordres nu til at præregistrere deres studier og rapportere alle resultater – også dem, der ikke var signifikante. Dette skifte er blevet kaldt en “replikationskrise” og har sat fokus på, hvor vigtigt det er at dele null results for at undgå forvrængede konklusioner.

Hvorfor det betyder noget: Hvert null resultat er en lille brik i et større puslespil. Når vi deler dem, hjælper vi hinanden med at undgå fejl, spare tid og finde de rigtige veje frem – selvom det ikke altid føles sådan i øjeblikket.

Praktiske råd til at håndtere null results

Hvis du selv står med et null resultat – eller overvejer at offentliggøre et – er her nogle konkrete råd baseret på forskningslitteraturen. Sørg for at have tilstrækkelig statistisk styrke. Hvis din stikprøve er for lille, kan du simpelthen ikke opdage en reel effekt. Rapporter også effektstørrelser og konfidensintervaller – ikke kun p-værdier – så læserne selv kan vurdere, hvor informativt resultatet er.

Ved at rapportere dine null results bidrager du til en mere ærlig og effektiv videnskab – og du kan endda inspirere andre til at tænke nyt.

Det væsentlige: Et null resultat er ikke en fiasko – det er et videnskabeligt resultat. Med de rigtige analyser og ærlig rapportering kan det blive et værdifuldt bidrag til forskningen.
Flere kilder

academia.edu, crlao.ehess.fr, research.ed.ac.uk, academia.edu, springernature.com, openaccesspub.org, journals.sagepub.com, scholar.harvard.edu, thesignhub.eu, resources.nu.edu

Ofte stillede spørgsmål om null results

Hvad er forskellen på et null resultat og et negativt resultat?

Et null resultat betyder, at der ikke findes en statistisk signifikant effekt – hverken positiv eller negativ. Et negativt resultat viser derimod en effekt, men i den modsatte retning af forventet. Null resultater indikerer, at der ikke er nogen målbar sammenhæng, mens negative resultater viser en sammenhæng, der bare er anderledes end antaget.

Er null results altid et tegn på dårlig forskning?

Nej. Null results kan skyldes mange ting – manglende statistisk styrke, målefejl, designproblemer eller en reel mangel på effekt. De er kun et tegn på dårlig forskning, hvis de skyldes metodiske fejl, der kunne være undgået.

Hvordan kan man øge chancen for at få et ikke-null resultat?

Man kan øge stikprøvestørrelsen, forbedre måleinstrumenter og sikre et godt studiedesign. Men et null resultat er ikke et nederlag – det er bare et resultat, der ikke finder en effekt.

Hvad er null-hypotesen?

Null-hypotesen er den antagelse, at der ikke er nogen forskel eller sammenhæng i den population, du undersøger. Hvis dine resultater er usandsynlige under null-hypotesen, kan du forkaste den og konkludere, at der sandsynligvis er en effekt.

Hvad er publikationsbias?

Publikationsbias betyder, at positive resultater offentliggøres oftere end null results. Det kan føre til, at metaanalyser overvurderer effekter, fordi de kun ser de “spændende” resultater.

Kan null results inspirere til nye hypoteser?

Ja. Springer Nature beskriver, at null results kan inspirere nye hypoteser eller metoder. Hvis et resultat ikke finder en effekt, kan det lede forskere til at genoverveje deres antagelser, målemetoder eller teoretiske ramme – og det kan føre til nye og bedre forskningsspørgsmål.

Kilder og videre læsning

  • Springer Nature – White paper om null results
  • EGAP Methods – Guide til fortolkning af null results i felteksperimenter