Forskerfejl skabte hidsig debat på universitet: »Tonen har nok været usædvanlig hård«
Det var en ægte bekymring for videnskabens fundament, der fik flere ansatte på Aarhus Universitet til at gå i rette med en gruppe kollegers opsigtsvækkende artikel om kunstig intelligens. Det fortæller fysikinstituttets leder om artiklen, der viste sig at indeholde en banal fejl.
Artiklen, der blev udgivet i 2016 i det ansete tidsskrift Nature, konstaterede blandt andet, at menneskelige computerspillere var bedre til at løse komplekse problemer end en computeralgoritme. Ida Jerichow
Det skabte voldsomme dønninger internt på Aarhus Universitets Institut for Fysik og Astronomi, da flere af instituttet forskere begyndte at undre sig over en artikel, en gruppe fagfæller havde forfattet.
Artiklen, der var udgivet af en forskergruppe ledet af professor i kvantefysik Jacob Sherson, hævdede, at mennesker i visse tilfælde var bedre end en computeralgoritme til at løse komplekse fysiske problemer.
Som Berlingske søndag kunne fortælle, viste det sig sidst i 2019, at der i forskernes algoritme havde indsneget sig en basal fortegnsfejl, der markant ændrede resultatet. I flere år forinden havde sagen dog skabt hidsig debat på instituttet.
»Tonen har været hård i den sag. Den har nok været usædvanlig hård,« fortæller instituttets leder, Ulrik Uggerhøj.
»Det skyldes i min optik forskernes passion. Der har været en ægte bekymring for videnskabens fundament. Vi er inde at pille ved noget centralt i denne sag, og det har man kunnet mærke på reaktionerne.«
Måtte dæmpe gemytter
Undervejs gik bølgerne så højt, at Uggerhøj følte sig nødsaget til at indkalde til et forsoningsmøde mellem Jacob Sherson og flere andre af instituttets forskere.
»Det var et velment forsøg på at finde ind til en enighed eller en accept af hinandens synspunkter. Det var nødvendigt for at dæmpe gemytterne,« siger institutlederen.
Fejlen var i sig selv banal, fortæller Uggerhøj. Af ukendte årsager var en computerkode blevet udstyret med et minus for meget. Dermed præsterede algoritmen i mange tilfælde dårligere end de menneskelige spillere. Et resultat, der havde vakt opsigt i medier verden over, da det blev publiceret i det ansete tidsskrift Nature i 2016.
»Fejl opstår bare en gang imellem, det er uundgåeligt. Vi må så sørge for at lære af dem og prøve at undgå at gentage dem.«
»Mit klare indtryk er, at forskerne har foretaget kvalitetskontrol og har testet deres resultater inden publiceringen. Man kan så naturligvis diskutere, om deres kontrol har været tilstrækkelig,« siger Ulrik Uggerhøj, der udtaler sig på universitetets vegne, idet dekanen for det naturvidenskabelige område, Kristian Pedersen, ikke har ønsket at stille op til interview om sagen.
Usædvanligt forløb
Da fejlen efter flere års debat blev opdaget af en kollega på Institut for Datalogi, bad Ulrik Uggerhøi universitetets såkaldte praksisudvalg undersøge sagen. Udvalget konkluderede, at Sherson og kollegerne have bedrevet »tvivlsom forskningspraksis«, fordi de ikke selv kontrollerede resultaterne, da den første kritiker henvendte sig i 2017. Og fordi de var alt for længe om at udlevere koderne, så fagfæller kunne tjekke dem.
En konklusion, Uggerhøi tilslutter sig.
»De skulle have taget kritikken alvorligt, testet koderne og tjekket resultaterne en ekstra gang for at se, om kritikerne havde ret,« siger Uggerhøi.
Han finder det især kritisabelt, at koderne først blev udleveret i november 2019, tre år efter artiklens offentliggørelse – og først efter en lodret ordre fra Uggerhøi selv.
»Det er usædvanligt, og det burde ikke have været nødvendigt. Det burde forskerne selv være nået frem til.«
»Hvis en fagfælle beder om at se ens data og metoder, så udleverer man det – velvidende, at det kan betyde, at de kan finde fejl i ens arbejde. Men det er sådan, videnskab kommer fremad. Tager man fejl, kan fagfæller korrigere én, så man kan komme på ret kurs,« fastslår han.
Jacob Sherson forklarer til Berlingske, at han fortryder, at koderne ikke blev udleveret hurtigere i 2019. Årsagen var ifølge ham blandt andet massiv travlhed, idet de samtidig blev bedt om at forfatte et offentligt svar på kritikken og skulle undervise fuld tid på universitetet.
Selvom Praksisudvalget aldrig undersøgte selve forskningsprocessen – og derved fejlens årsag – mener Uggerhøj, at sagen nu er tilstrækkeligt belyst.
»Der er ikke nogen, der har henvendt sig til mig med klare mistanker om, at der er foregået noget decideret uredeligt – eksempelvis, at der skulle være manipuleret med resultater eller lignende. Hvis dette var tilfældet, ville jeg sørge for at få undersøgt selve forskningsprocessen.«
Den famøse fejl havde indsneget sig langt nede i algoritmens kode – helt præcis i linje 42. Bemærk det første minus foran »exp« i fjerde linje hér. Minusset er indsat ved en fejl; det får algoritmen til at gå i stå, hvormed den ikke kan løse opgaven. Fra rapporten »Explaining the poor performance of the KASS algorithm implementation« af Allan Grønlund, Aarhus Universitet. Privat Line Tolstrup Holm
Regler repeteret
Sagen har nu ført til, at instituttets ansatte har fået repeteret reglerne for god forskningspraksis og integritet i forskningen, fortæller Uggerhøi.
»Vi har lært, at man skal holde sig til det danske kodeks for integritet i forskningen. At begreber som ærlighed, gennemsigtighed og ansvarlighed betyder noget. Og at man skal repetere det ofte. Det er en central lære af denne sag,« siger Ulrik Uggerhøj.
Del:
Andre læser også
Indland
Danske forskere blev hyldet verden over – men de havde overset en fatal fejl
Videnskab
Forskeren bag fejlen: »Jeg er overrasket over, hvor stærke følelser vores projekt har vakt«
Europa
Oxford-vaccinen kan få det blå stempel mandag – men hvor længe skal EU-borgerne vente?