Digernes har selv gått metodikken etter i sømmene tidligere år, og han er ikke imponert.
- Jeg stiller meg tvilende til at THE-ranking klarer å måle solid forskningspraksis, all den stund deres egen målemetode er såpass heftet med svakheter.
Det er særlig de to parameterne for ”reputation” Digernes er kritisk til. Hans innvendinger er ikke av ny dato.
LES OGSÅ: Utreder grunnlag for nytt universitet på Vestlandet
Vanskelig å besvare spørmålene
I følge en rapport utført av European University Association, ”Global University Rankings and their impact” ber man et, ikke nærmere spesifisert panel av ”academic staff”, om å foreta to, separate rangeringer. Den ene er over de 15, i egne øyne, beste forskningsinstitusjonene innen eget fagfelt, i eget nærområde. Den andre er den samme rangeringen, men da av de 15 beste i verden. Dette er det hele. Så setter man sammen dataene og får en global fordeling.
Denne fordelingen er etter Digernes’ oppfatning ikke særlig robust.
- Om jeg skulle satt meg inn i svarerens situasjon, og besvart disse spørsmålene, vil det vært vanskelig for meg å komme opp med et vel begrunnet valg for hvilke institusjoner som er blant de 15 beste. Når man kommer et stykke ned på den lista, kan det være vanskelig og ikke så rent lite tilfeldig hvorfor man velger én institusjon framfor en annen, sier han.
LES OGSÅ: Jon Fosse blir æresdoktor ved Universitetet i Bergen
Små endringer gir store utslag
For det andre viser en graf fra samme rapport at for institusjoner som kommer etter de 50 beste, er relativ skår nede på 6-7 prosent av hva den høyeste institusjonen har, hvilket betyr at denne skåren bare har betydning for de aller høyest skårede institusjonene:
”Figure II-2 illustrates how the reputation-based score of universities becomes virtually negligible for those ranked lower than the top 50. This in turn means that for those universities the reputation indicators, despite their high weights in the THE World University Ranking (33%), have virtually no impact on their positions in THE World University Ranking.”
Men det betyr også: Når man kommer et stykke ned på lista er det så få «stemmer» at noen få endringer i den ene eller andre retningen gir kraftige utslag på den relative skåren.
Les også: Penkowa dømt til betinget fengsel
Aldri vært på null før
Digernes mener dessuten at noe må være noe ekstraordinært når NTNU får null i omdømme i år.
– Vi har aldri ligget høyt her, men har heller aldri vært på null. Stemmer det, betyr det at det er meget få «stemmer» på institusjoner nede på lista, slik at tilfeldige variasjoner kan gi betydelige utslag. Det understreker mitt hovedsyn: Denne rankingen er ikke i stand til å gi et pålitelig mål på det den utgir seg for: Kvalitet i forskning ot utdanning. Det vi skal gjøre, er å følge med på de indikatorene som er basert på fakta, de kan gi oss holdepunkter på hvordan vi utvikler oss.
– Da får du Tusenkronersspørsmålet: Hvorfor holder THE og andre på med disse rankingene?
– Kortversjonen er at noen har kommet på en god forretningside, nemlig å tjene penger på å publisere slike rangeringer, og selge tjenester tilbake til universitetene basert på de dataene vi selv har hatt arbeidet med å utarbeide, sier Torbjørn Digernes.
Les også: Johan Castberg kjempet for de <<uekte>> barna
UA har vært i kontakt med THE og bedt om intervju, samt meilet spørsmål til rankingansvarlige, men så langt ikke fått svar.
