KRONIKK: Indikatorar for læringsutbyte med IKT

 Dei internasjonale skuletestane og metaanalysane kan på mange måtar sjåast i høve til den stadig tydlegare «evidensbølgja» og målstyringa av utdanningssystemet vårt. I skuledebatten er det difor mange som tek til orde for at «ikkje alt som tel kan teljast». Denne kritikken er rettvis dersom det berre er medias «ligatabellar» over gode og dårlege skular resultata blir nytta til. Dersom dette derimot blir nytta som eitt av fleire mål på kva ein lukkast med i skulen og kvar skoen trykkjer, kan skuletestane og metaanalysane vere viktige «kompass» å ha i verktykassa både for skuleeigarar, skuleleiarar og lærarar. Spesielt når ein vidare kurs for IKT-bruken i skulen skal stakast ut med omsyn til korleis ein skal betre elevane sitt læringsutbyte over tid.

Men korleis skal ein klare å måle noko så komplekst som læringsutbyte med IKT og kva er i så fall indikatorar for godt læringsutbyte? Det er dette vi skal sjå nærare på i eit forskingsprosjekt i 2012/2013, der samanhengen mellom IKT og læringsutbyte i den vidaregåande opplæringa står i sentrum. Dette har sin bakgrunn i ei OECD-satsing og prosjektet nyttar difor eit rammeverk som skal gjere det mogleg å samanlikne indikatorar for IKT-bruk på tvers av landegrensene. I eit slikt komparativt perspektiv skil ein gjerne mellom primære indikatorar (antall PC’ar, o.l) og sekundære indikatorar (pedagogisk bruk av IKT, o.l). Ut frå dette er det seks hovudområde ein rettar merksemd mot basert på dette rammeverket: Implementeringsstrategiar, PC-tilgang, læreplan og kompetanseheving, læringsstøttande infrastruktur, grad av IKT-bruk i undervising (lærar) og læringsorienterte IKT-aktivitetar (elevar). Desse seks fokusområda blir studert både i høve til skuleeigar, skuleleiing, lærarar og elevar, men med noko ulike tyngdepunkt. På elevnivå er det særleg tre hovudområde ein rettar fokus mot: 1. Intendert læringsutbyte, 2. moglegheiter til å lære og 3. kompetansen/haldningar til elevar (OECD 2009).

I studien vår skil vi tydeleg mellom omgrepa evidence og proof, der proof er synonymt med bevis medan omgrepet evidens kan sjåast i samanheng med indikatoromgrepet. Omgrepet evidens[i] er gjerne knyta til framlegging av eit argument og evidens er dermed det som i eit argument kan seiast å styrke eller svekke argumentet (eller antakinga). Ein indikator sitt primære formål er ikkje «å vere seg sjølv», det er altså ikkje empiriske «fakta», men er ein del av eit argument (som sjølvsagt bygger på empiriske fakta). Indikator tyder dermed ”antyde”, dvs. noko som angir eigenskapar ved eit fenomen som kan seie oss noko om tilstanden til dette fenomenet (Olsen og Skedsmo 2012). Indikator er dermed eit meir varsamt omgrep enn både bevis og evidens, og føremålet med studien er å finne ut om det er mogleg å utvikle tentative indikatorar for læringsutbytte med IKT i vidaregåande skule.

Sentralt i studien står også omgrepet læringsutbyte og dette kan grovt sett delast inn i tre delar. Det intenderte læringsutbyte som kan koplast til kompetansemål slik vi finn dei formulert i læreplanen. Det subjektive læringsutbyte som er lærarar og elevar si sjølvrapportering om læringsutbyte, og som ofte blir målt ved hjelp av intervju, spørjeskjema og observasjon. Det objektive[ii] læringsutbyte er gjerne knyta til kunnskapstesting ved hjelp av standardiserte testbatteri og eksperimentelle design.

Intervjudata og spørjeskjemadata om subjektivt læringsutbyte er velkjente datakjelder for mange skulefolk og dette vil bli nytta i ein del av prosjektet. Dette er altså elevar og lærarar si sjølvrapportering om ulike fenomen i skulen. I til dømes Rogalandstudien (Krumsvik, Ludvigsen & Urke, 2011) fann ein nokre tentative sekundære indikatorar for læringsutbyte og IKT-bruk, som til dømes at dess meir eleven ønskja at læraren skulle styre PC-bruken i klassa, dess mindre eigen utanomfagleg IKT-bruk vart rapportert. Ein såg òg at dei som ønskja sterkast PC-styring var jenter på studiespesialiserande med over 5 i karaktersnitt. Likevel er det slik at ser ein på einskildelevar er det sjølvsagt ingen automatikk i at ein elev alltid ønskjer meir PC-styring fordi han har gode karakterar eller er lite utanomfagleg sjølv. Men det er ein statistisk samanheng som kan gjere at eit eller fleire argument om korleis verda heng saman, blir styrka. Når ein så kombinerte statistiske analysar med kvalitative data som intervju og observasjon, vart biletet meir komplett og det ga meir ”kjøt på beina” for å studere dette subjektive læringsutbytet. Samstundes synte studien at også lærarens digitale kompetanse^[iii] og evne til klasseleiing var viktig for å redusere elevars utanomfagleg IKT-bruk. Hattie (2012) sine metaanalysar syner også at klasseleiing er viktig for elevane sitt læringsutbyte (med ein effektstørrelse 0.53) og understrekar at: “(…) reducing disruptive behaviour needs to be a core competency of any successful teacher” (Hattie, 2009, s. 103).

Objektivt læringsutbytte er nok eit meir abstrakt omgrep for skulefolk og sidan vi i prosjektet vårt også skal studere dette må vi ned på mikronivået og sjå på eleven sitt læringsutbytte i undervisinga. Ein måte å nærme seg det objektive læringsutbyte for eleven er å nytte omgrepet effektstørrelse. Dette kan vi kalle elevar sin gode eller dårlege «læringseffekt» av ulik type undervising i skulen. Det er mange måtar å bruke ein effektstørrelse på, men i dei store metaanalysane til John Hattie (2012) er det framgangen til elevane han er mest oppteken av å bruke effektstørrelse til, og det same gjeld i vår studie.

I PISA, PIRLS og TIMSS legg ein til grunn at for eitt års skulegang er ein forventa effektstørrelse om lag 0.40, og det same gjeld for dei 240 millionar studentane/elevane i John Hattie (2012) sine metaanalysar. Difor er det slik at får man ein effektstørrelse i ein forskingsstudie (som til dømes studerer lærarar sin bruk av undervegsvurdering i eitt spesielt fag) på meir enn 0.40, så er dette ein indikator for noko som fungerer bra for elevane si læring.

Mange vil nok vere skeptisk til om denne type «tallmagi» eigentleg har noko å seie for lærarens undervising og eleven si læring på det lokale nivået. Også John Hattie (2012) åtvarar mot å tru at slike effektstørrelsar vil endre skulen «over natta» på det lokale plan. Likevel ser ein at blir effektstørrelse nytta på ein fornuftig måte saman med subjektive mål på læringsutbyte, kan dette gi verdifull kunnskap om elevane sitt læringsutbyte over tid.

Men korleis gjer ein dette i praksis? Forskingsmessig kan dette gjerast ved eit eksperimentelt design i høve ein fagleg intervensjon (Schagen og Hodgen 2009). Når eit slikt forskingsdesign tidvis ikkje er mogleg[iv], kan ein enkel variant av måling av effektstørrelse gjerast av læraren sjølv ved å til dømes køyre ei matematikkprøve (pre-test) knytt til eitt kompetansemål ved skulestart og gjenta same prøva ved skuleslutt i desember (post-test) for å sjå elevane sitt læringsutbyte i denne perioden. Eit mykje brukt mål for størrelsen på denne effekten blir då post-test minus pre-test dividert på standardavviket til elevane i ei klasse[v]. Den omtalte effektstørrelsen læraren då får har sjølvsagt sine avgrensingar, men saman med andre metodiske inngangar vil den kunne gi komplementær kunnskap om læraren lukkast med undervisinga i det aktuelle faget. Det interessante med effektstørrelsen er at den kan vere sterkare for ein ”skulesvak” enn ein ”skuleflink” elev i ei periode. Dette opnar opp for eit tydlegare fokus på framgang og dermed eit sterkare fokus på undervisingskvaliteten og eleven si haldning til læring.

Eitt døme på klasse- og individnivå kan vere at Per har framgang medan Pål har ein attendegang i høve forventa effektstørrelse for perioden for dei nemnte matematikkprøvene. Spørsmålet som beinveges meldar seg er kvifor Per har ein sterkare effektstørrelse enn Pål for same perioden, i same klassa, i same faget og med same læraren. Det er her fokuset på det subjektive læringsutbyte kjem inn i form av at dette kan gi meir «kjøt på beina» ved til dømes intervju med læraren og elevar, samt spørjeskjemadata. Læraren fortolkar, veit «kvar skoen trykkjer» og uttrykkjer kanskje at medan Per har jobba jamt og trutt gjennom dette semesteret, har Pål vore ukonsentrert, umotivert og gjort lite lekser. Dette kan gi eit meir heilskapleg bilete av kvifor Per er i læringsmessig medvind og Pål i læringsmessig motvind. Samstundes kan dei statistiske analysane avdekkje samanhengar som ikkje læraren beinveges ser sjølv (til dømes at Pål rapporterer lang meir utanomfagleg IKT-bruk i survey’en enn Per, sjølv om begge tilsynelatande brukar PC’en likt i timane).

Dette syner at effektstørrelsen gir oss eit viktig «oversiktskart» og viktig kunnskap om elevane sine skuleprestasjonar over tid. Men den avdekkjer sjølvsagt ikkje heile det komplekse «terrenget» der Per, Pål og læraren finn seg. Difor er eitt av dei viktigaste bidraga ved bruk av effektstørrelsar spørsmåla desse forskingsfunna genererer vidare for læraren: Kvifor skorar Per betre og Pål dårlegare? Er Pål for mykje utanomfagleg med IKT’en? Treff undervisinga mi alle eller har eg nokre «blinde flekkar»? etc. Samstundes vil som nemnt både spørjeskjemadata og intervju med elevane kunne supplere biletet ytterlegare, samt forskaranes klasseromsobservasjonar (som kan avdekkje om læraren praktiserer det han prediker i intervjua). Til saman kan slik forskingsdesign omkring det intenderte, subjektive og objektive læringsutbyte når IKT blir nytta, gi oss tentative indikatorar om IKT-bruk og læringsutbyte i matematikk (som døme her illustrerer).

Forsking på indikatorar for læringsutbyte med IKT bør ha sin plass i norsk utdanningspolitikk fordi vi framleis har for liten kunnskap om dette og ein forskingsbasert kunnskap om dette kan vere noko vi kan navigere etter over tid. Men for at slike skal kunne vere eit utdanningsmessig kompass er det viktig at ein òg er merksam på fallgruvene på området. Til dømes innanfor IKT-området kan fort «høna eller egget»-fenomenet gjere seg gjeldande – ein må difor vere merksam på slike fallgruver slik at ikkje både «diagnosa og medisinen» blir diskutabel. På denne måten kan ein ta eit steg i retning av at det ikkje er anekdotisk bevisføring om fag og IKT som rår grunnen og som tidvis kanskje maskerer ein undervisingsrøyndom som ikkje alltid er slik ein skulle ønskje – eller som tildekkjer positive tendensar. Det viktige er også at indikatorar for læringsutbyte får ei språkdrakt som kommuniserer godt til dei som skal gjere seg nytte av forskingsfunna – lærarane – slik at dette ikkje blir oppfatta som «statistisk tåkeprat», men gode rettleiingar for lærarens profesjonelle utvikling. Då kan dette bidra til betre forskingsbasert undervising i skulen – noko det er rimeleg tverrpolitisk semje om at elevane våre fortener.

Kronikken vart også publisert i 

Lektorbladet (nr. 6. 2012)

Referansar:

Hattie, J. (2009). Visible Learning. A synthesis of over 800 meta-analysis relating to achievement. New York: Routledge.

Hattie, J. (2012). Visible Learning for teachers. Maximising impact on learning. London: Routledge.

Krumsvik, R.J. (2012). Teacher educators’ digital competence. Scandinavian Journal of Educational Research, 1-12. iFirst Article.

Krumsvik, R., Ludvigsen, K., & Urke, H. B. (2011). Klasseleiing og IKT i vidaregåande opplæring. Forskingsrapport. Universitetet i Bergen. Bergen: UiB.

OECD (2009). Assessing the effects of ICT in education. Brussel: OECD.

Olsen, R.V & Skedsmo, G. (2012). Mellom forventingar og faktiske prestasjoner. Om utvikling og bruk av kvalitetsindikatorer i skolen. I, T.N. Hopfenbeck, M. Kjærnsli og R. V. Olsen (red.), Kvalitet i skolen. Oslo: Universitetsforlaget.

Schagen, I., & Hodgen, E. (2009). How much difference does it make. Notes on understanding, using, and calculating effect sizes for schools. Nettkjelde: http://www.educationcounts,govt.nz/publications/schooling/36097/3609