Ingen rangeringer er helt objektive. Rådende rangeringssystemer verden over kritiseres, dels fordi de bare måler langs én dimensjon, dels fordi sammenlikningene går mellom institusjoner som er så ulike at de vanskelig kan skjæres over én kam.
Det er utgangspunktet for det forskerutviklede rangeringssystemet “U-Multirank”. Det er et EU-finansiert, multidimensjonal rangering langs hele virksomhetsspennet til et universitet. Den skal måle på langt flere indikatorer enn andre systemer. Metodebruken er mer transparent. Institusjoner kan selv få utført sammenlikninger ut fra parametere man selv velger ut.
Epler og pærer
Dette betyr ikke at U-Multirank er relativistisk, men det tar større hensyn til forskjellen på epler og pærer, mener forskerne som står bak utviklingen av den nye målemetoden. De kommer fra Universitetet i Twente og Center for Higher Education Development i Tyskland
Versjon 1.0 av U-Multirank ble offisielt presentert i Brussel i forrige uke .
Lei engelskspråklig dominans
Initiativet er et direkte svar fra EU-landene på det globale hegemoniet som rangeringer som Times Higher Education (THE), Shanghai-rankingen og QS har i dag. Den nær totale dominansen av amerikanske og britiske universiteter i toppen av de årvisse topp ti-listene har utløst bekymring i store EU-land som Tyskland og Frankrike. EU-kommisjonen bevilget derfor penger til et toårig prosjekt for å lage et bedre system for å sammenlikne institusjoner, slik EU ser det.
Kritikken har gått på at det eksisterer en metodologisk slagside mot bibliometri i favør av engelsk språk. Rådende rankinger konsentrerer seg utelukkende om det målbare, i stedet for det relevante. THE, Shanghai og QS er i stor grad endimensjonale målinger i favør av publisering, fremholder kritikerne.
Omfattende verktøy
Gjennom U-Multiranks kommende nettside kan hvem som helt filtrere sin egen rangering, basert på en lang rekke indikatorer på akkurat det man ønsker å sammenligne. Det kan måles på institusjonsnivå, eller på fagområde. Datagrunnlaget skal dekke fem “dimensjoner” av institusjonenes kjerneoppgaver – undervisning, forskning, kunnskapsoverføring, internasjonalisering og regionalt engasjement. Institusjonene blir målt på 40 indikatorer langs disse fem dimensjonene. Til sammenligning har THE 13 indikatorer.
Formålet er ikke at universitetene skal slå hverandre i hodet med hver sine egenkalibrerte sammenlikninger, men det åpner for at universiteter på en relativt enkelt måte kan “benchmarke” seg i forhold til et utvalg av konkurrerende institusjoner med sammenliknbar profil.
U-Multirank vil også komme med egne, autoritative rangeringer på linje med THE, Shanghai og QS.
Versjon 1.0 er basert på en pilotrangering. Forskerne vil nå jobbe videre med finjustering av indikatorene. En operasjonell versjon er ventet senere i år, i følge prosjektet. Da vil også nettsiden for egne analyser være klar.
Skeptisk til datagrunnlaget
NIFU-forsker Gunnar Sivertsen er en av Norges fremste eksperter på bibliometri og rangeringsmetodikk. Sivertsen står blant annet bak arbeidet med den nye, nordiske rangeringen, som ble lansert i mai i år . Han har også vært sentral i utviklingen av FRIDA og Norsk vitenskapsindeks.
Sivertsen har studert metodologien bak U-Multirank. Han ønsker EUs nye modell velkommen som et supplement til dagens rangeringer, men mener oppfyllelsen av de høye ambisjonene krever tid.
- Dette er et mer sofistikert verktøy, det er utviklet av forskere, og det er mer transparent på metode. Jeg tviler imidlertid på at det finnes sammenliknbare data for alle dimensjonene, sier han.
Europeisk dominans i piloten
Lanseringen av U-Multirank versjon 1.0 bygger på erfaringene fra forsøkspiloten, som inviterte totalt 159 institusjoner til å dele data. 109 leverte.
Forskerne bak U-Multirank innrømmer at datatilgjengelighet har vært et problem. Det standardiserte “spørreskjemaet” representerer en betydelig arbeidsbelastning for institusjonene. Det har også resultert i en lav svarprosent. Ikke overraskende er det høyest svarprosent blant de europeiske institusjonene, mens utvalget som fullførte rapporteringen bare inneholder fem amerikanske og ett asiatisk universitet (Kinesiske institusjoner må innhente politisk tillatelse før de kan utlevere statistikk, i følge Chronicle of Higher Education).
Norske erfaringer tilsier tålmodighet
En utfordring ved selvrapportering handler det om at alle respondentene har den samme forståelsen og definisjonen av hva det spørres etter. Disse problemstillingene fant Sivertsen i arbeidet med den nordiske rankingen, men han mener problemene er overkommelige.
Sivertsen har tro på U-Multirank på sikt.
- U-Multirank har ambisjoner om å dekke hele virksomhetsspennet til et universitet, og trenger derfor et langt bredere datagrunnlag. Erfaringer fra norsk rapportering på publiseringsdata til DBH (Database for høyere utdanning) i tidige år tilsier at det tar tid for institusjonene å etablere gode rapporteringssystemer. Selv om jeg tviler på at datagrunnlaget vil være godt nok nå i første omgang, mener jeg denne typen rangeringer er noe universitetene selv vil være interessert i, sier han.
THE vil kun måle 1 prosent beste
Avisa Times Higher Education kommenterer på lederplass at U-Multirank bringer lite nytt til torgs. Lederskribenten mener dessuten at muligheten for å filtrere sin egen sammenlikning allerede finnes, både på THEs nettsider og gjennom THEs iPhone-applikasjon.
Den britiske konkurrenten har nylig besluttet å gå motsatt vei av EU – å innsnevre sin egen rangeringsmodell. Fra nå av skal kun de aller beste telles. Det vil si verdens 1 prosent beste, eller topp 200 innen forskning og høyere utdanning i verden. På denne måten sammenligner man mellom eliten, som må antas å være relativt like, hevder THEs redaktør Phil Baty .
