Sammendrag
Plenumsforelesningen som undervisningsform er i hardt vær for tiden og mange assosierer denne med foreleseres monolog, lite interaktivitet og studenter som vegrer seg for å ta ordet i så store forsamlinger (ofte med 100-300 tilstede). Samtidig viser det seg at man har relativt liten systematisk kunnskap både nasjonalt og internasjonalt om hvilket læringsutbytte studenter har fra denne type undervisningsform. Kunnskap om hvordan både intendert, - subjektivt, - og objektivt læringsutbytte utarter seg i plenumsforelesningen og hvordan disse påvirkes av feedback og formativ e-vurdering (digital underveisvurdering), er dermed begrenset. Gitt det økende fokuset på studenters læringsutbytte i Kvalifikasjonsrammeverket, formativ vurdering i Kvalitetsreformen og manglende kunnskap om plenumsforelesningen som undervisningsform, bør man søke å frembringe mer systematisk kunnskap om studenters læringsutbytte i plenumsforelesninger. Dette PEK[i]-prosjektet ved Universitetet i Bergen har hatt som formål å identifisere (1) faktorer som påvirker forholdet mellom intendert og subjektivt læringsutbytte i plenumsforelesninger for psykologistudenter. Videre har prosjektet hatt som intensjon å undersøke (2) om, og eventuelt hvordan formativ e-vurdering understøtter ”moments of contingency”[ii] eller «mulighetsøyeblikk», ved å studere sammenhengen mellom intendert og subjektivt læringsutbytte. Studiens foreløpige resultater viser at ”Audience Response System” (ARS, feedback-clickers)) øker interaktiviteten og fremmer «moments of contingency» i plenumsforelesninger på nye måter og reduserer noe av gapet mellom intendert læringsutbytte og subjektivt læringsutbytte. Samtidig viser denne studien at det er behov for mer longitudinelle studier av de foreløpige funn som trer frem i materialet, samt studier som inkluderer et fokus på studenters objektive læringsutbytte i plenumsforelesninger.
Innledning
Mange vil nok hevde at en plenumsforelesning kan klassifiseres som en monolog fra forelesers side med lite interaktivitet og hvor majoriteten av studenter vegrer seg for å ta ordet. Plenumsforelesningen har jo også høstet mye kritikk for dette gjennom tidene. Flere vil også hevde at kritikken er berettiget ut fra at plenumsforelesningen som sjanger både bærer preg av asymmetri, enveiskommunikasjon og av studenter som blir passive mottakere av forelesers fagkunnskap, tanker og ideer. Samtidig finner man paradoksalt nok relativt lite forskning på forelesningen som undervisningsform, tross dens sentrale plass i akademia (Kvernbekk 2011). Likeledes ser man at i ”kampen” mellom monologen og dialogen er dialogen «moralsk overlegen». Med et slikt utgangspunkt er det ofte lett å klassifisere forelesningen som en monolog (med negative undertoner), og andre undervisningsformer som dialogisk (med mer positive undertoner). Dette, sammen med andre faktorer, gjør at plenumsforelesningen er i ferd å tape terreng, og kampen mellom monologismen og dialogismen ser ut til å få en seierherre. Det er likevel grunn til å stille spørsmål ved denne type fremstillinger og om forelesningen alltid trenger å være en monolog med et noe anakronistisk preg. Ser man på dyktige foreleserne så spiller de ofte på et stort repertoar hvor monologen tidvis også kan dominere, men hvor denne har et ”dialogisk preg” i forelesningen: ”En forelesning kan manifestere seg som en individuell monolog, men foreleserens ytre tale vil hele tiden simultant kunne stå i et dialogisk forhold til tilhørerens indre tale» (Skodvin 2000: 20). Slike nyanser uteblir ofte i diskusjonene rundt plenumsforelesningen som undervisningsform og understreker behovet for å se på plenumsforelesningen med «nye briller» hvor man er noe mer analytisk enn normativ i sin tilnærming. Til dette trenger man mer systematisk kunnskapsutvikling og dette prosjektet studerer plenumsforelesningen som undervisningsform hvor man har prøvd ut ny teknologi i forhold til feedback og formativ e-vurdering (digital underveisvurdering).
Kvalifikasjonsrammeverket og læringsutbytte
Høyere utdanning har gjennomgått en omfattende endring det siste tiåret med implementering av en rekke nye politiske styringsdokument med Bologna-prosessen, det nye gradssystemet (bachelor-/mastergrad og diploma supplement), og det europeiske systemet for studiepoeng (ECTS, Bologna-prosessen, 2005, 2007). I norsk sammenheng har endringer blitt implementert gjennom Kvalitetsreformen (UFD, 2001) og etableringen av Nasjonalt organ for kvalitet i utdanningen (NOKUT), samt det nye Kvalifikasjonsrammeverket (KD, 2010). Et sentralt anliggende i disse politiske styringsdokumentene er det økte fokuset på intendert[iii],- subjektivt[iv],- og objektivt[v] læringsutbytte, samt at underveisvurdering har blitt fremhevet som viktig verktøy for å støtte opp under undervisning og studenters læringsutbytte i høyere utdanning. Dette er tydelig i implementeringen av Kvalitetsreformen (St.meld. nr. 27 (2000-2001) (UFD, 2001), hvor begrepet underveisvurdering har blitt særlig vektlagt og har fått betydelig innflytelse i høyere utdanning. Fokuset på formativ vurdering (underveisvurdering) innbefatter også en høyere bevissthet omkring studenters læringsutbytte og dette har medført mer detaljerte emnebeskrivelser for hva studenter forventes å lære i deres ulike universitetsfag. Emnebeskrivelsene, som er basert på Kvalifikasjonsrammeverket for høyere utdanning i Norge (KD, 2010) med undertoner fra ”outcome-based teaching and learning” (OBTL) (Biggs & Tang, 2007), vektlegger både læringsutbyttebeskrivelser, undervisningsformer og formativ – og summativ vurdering (sluttvurdering). Disse intensjonene, som er formulert i ulike politiske styringsdokument, står i kontrast til den nåværende situasjonen i høyere utdanning. Eksempelvis konkluderes det med i en nylig rapport fra Kunnskapsdepartementet at vi nå har mye informasjon om intendert læringsutbytte i Kvalifikasjonsrammeverk for høyere utdanning (KD, 2010), men at kunnskap om undervisningskvalitet og undervisningsmetoder i høyere utdanning, og like viktig, om studenters subjektive og objektive læringsutbytte, er begrenset. Spesielt synes det som om den mye omdiskuterte plenumsforelesningen, med mellom 100 til 300 studenter til stede, har vært et forsømt område. Formålet med dette PEK-prosjektet har nettopp vært å adressere dette. Mer spesifikt, innebærer dette at en ønsker å undersøke forholdet mellom intendert og subjektivt læringsutbytte, og om, og eventuelt hvordan disse to blir påvirket av formativ e-vurdering i plenumsforelesninger med 100 til 250 studenter på årsstudium i psykologi.
Gitt det klare fokuset på IKT og digitalisering av høyere utdanning i Kvalitetsreformen (UFD 2001), diversiteten blant universitetsstudenter og manglende kunnskap om studenters «der og da»-opplevelser av læringsutbytte, har man sett det hensiktsmessig å utforske disse spørsmålene innenfor autentiske rammer i plenumsforelesninger. Studiens intervensjoner innbefatter derfor bruk av ”Audience Response System” (ARS, feedback-clickers) for å monitorere studenters respons in situ, og knytte dem til begrepene «feedback» (tilbakemelding), «feed forward» (fremovermelding) og «feed up» (læringsmål) (Hattie & Timperley, 2007).
Feedback
Flere anerkjente metastudier har identifisert feedback som den mest betydningsfulle enkeltfaktor i studenters læring (Black & William, 1998, 2007; Shute, 2008; Hattie & Timperley, 2007), særlig for førsteårsstudenter hvor feedback både bidrar til emosjonell støtte og forståelse av påkrevde universitetsstandarder (Poulos & Mahoney, 2007). En av årsakene til de mer affektive sidene ved dette kan være at systematisk feedback i høyere utdanning skaper et nærmere forhold mellom lærer og student, som i seg selv kan fremme læring. Denne bevisstheten omkring standarder og feedback ser ut til å være særlig viktig for å unngå at studenter dropper ut av høyere utdanning. Implementeringen av Kvalitetsreformen (UFD, 2001) og det intenderte læringsutbyttet i Kvalifikasjonsrammeverket for høyere utdanning (KD, 2010) har blitt fremhevet som betydningsfulle politiske styringssignal for å hindre frafall, samt å støtte opp under studenters læring og selvregulering i høyere utdanning. Feedback kan derfor bidra til utvikling av selvregulering i læringsprosesser, men om man har ønske om å forstå førsteårsstudenters opplevelse av akademia er det i følge Nicol (2009) behov for mer spesifikk utforskning av hvordan læringsutbytte og selvregulering opptrer sammen. Dette ser ut til å være av særlig betydning i Norge som følge av en av flere faktorer, blant annet den stabile andelen av studenter som dropper ut av høyere utdanning (SSB, 2011), det lave gjennomsnittet av undervisningstimer (13 timer pr. uke) i UH-sektoren sammenliknet med andre land (KD, 2011), ”enkeltmannsforetaket” og monologen som dominerende undervisningsform i plenumsforelesninger i høyere utdanning (KD, 2011), samt evalueringer som viser behov for å øke undervisningskvaliteten i høyere utdanning (NIFU-Step, 2009). Mer generelt, og basert på undersøkelser om formativ vurdering i høyere utdanning, hevder Fish og Lumadue (2010:1) at praksis: ” (…) must be improved, as instructional feedback is often vague, non-specific, inconsistent and infrequent”. Gjennom dette PEK-prosjektet har vi derfor hatt en intensjon om å utvikle kunnskap om hvordan formativ e-vurdering (Pachler, Mellar, Daly, Mor, Wiliam, og Laurillard (2009) utarter seg i høyere utdanning, og mer spesifikt, hvordan slik underveisvurdering kan gjennomføres i store plenumsforelesninger for studenter på årsstudium i psykologi ved Universitetet i Bergen.
Metode
Design
Prosjektet har benyttet seg av Design Experiments (Collins, 1992) som grunnlag for intervensjonene og Mixed Method Research (Johnson, Onwuegbuzie, og Turner, 2007) ble benyttet for å utforme og analysere prosjektets intervensjoner.
Utvalg
Den kvantitative delen av utvalget (bekvemmelighetsutvalg, Maxwell 2005) bestod av 243 studenter på årsstudium i psykologi (2010/2011) ved Universitetet i Bergen. Et utvalg på 6 av disse studentene ble valgt ut (hensiktsmessig utvalg, Maxwell, 2005) til den kvalitative delen og ble intervjuet en gang (semi-strukturert intervju, Kvale & Birkmann, 2009). I tillegg ble det gjennomført fire observasjoner av plenumsforelesningene (Maxwell 2005).
Instrumenter[vi]
En kvantitativ survey, en kvalitativ intervjuguide og et observasjonsskjema ble utviklet i pilotfasen ble benyttet for å undersøke de to forskningsspørsmålene. Reliabiliteten til de konstruerte skalaene i surveyundersøkelsen (motivasjon, oppfattet læringsutbytte og feedback) ble undersøkt og bedømt til å ha en akseptabel indre konsistens (Cronbach’s Alpha > .7 eller inter-item korrelasjon på .2 og .4). Studentene besvarte surveyen ved å bruke ARS-teknologien.
Forskningsspørsmål
· Kan Audience Response System fremme formativ e-vurdering i plenumsforelesninger, og hvordan oppfatter psykologistudenter dette forholdet?
· Kan Audience Response System redusere forskjellen mellom intendert læringsutbytte og subjektivt læringsutbytte i plenumsforelesninger, og hvordan oppfatter psykologistudenter dette forholdet?
Teoretisk rammeverk
Prosjektets teoretiske rammeverk er formativ vurdering (Hattie & Timperley, 2007) og formativ e-vurdering (Pachler et al., 2009). Hattie og Timperley (2007) har presentert en flere-nivå modell for hvordan feedback fremmer læring. I den nåværende studien vektla vi forholdet mellom følgende aspekter i denne modellen (Hattie & Timperley, 2007:87).
1. Forskjellen mellom intendert læringsutbytte på den ene side, og subjektivt læringsutbytte på den andre side (hensikt [Purpose])
2. Hvordan denne forskjellen kan reduseres av lærere (forskjellen[Discrepancy])
3. Forholdet mellom ”feed up”, ”feed back” og ”feed forward” (effektiv feedback [effective feedback])
Foreløpige resultater
De foreløpige resultatene av undersøkelsen viser at Audience Response System (ARS, feedback-clickers) forbedret sentrale komponenter i formativ vurdering og spesielt interaktiviteten og ”moments of contingency” (Black & William 1998) i plenumsforelesningene. ARS-spørsmålene som ble stilt underveis i forelesningene ga umiddelbar feedback til lærer, skapte nye innganger til ”moments of contingency” og ga lærer mulighet til å korrigere studentenes misoppfatninger (feedback) og tilpasse undervisningen i tråd med studentenes responser i løpet av undervisningstimen (”feed forward”). Dette ga nye muligheter for formativ e-vurdering knyttet til intendert læringsutbytte (”feed up”).
Studentene var mest positive overfor spørsmål på feedback skalaen sammenliknet med de to andre skalaer for motivasjon og oppfattet læringsutbytte. Flertallet av studentene (92 %) rapporterte at feedback-clickers (ARS) ga feedback på deres egen forståelse av pensumstoffet. Flertallet av studentene rapporterte også at de benyttet feedback de fikk fra feedback-clickers, samt forelesers forklaringer til å tilpasse sin egen forståelse (selvregulering) av begrep og fagstoff. Således ble forskjellen mellom intendert og subjektivt læringsutbytte redusert.
Studentene oppga at bruk av feedback-clickers under plenumsforelesninger støttet læringen deres i emnet. I undersøkelsen rapporterte flertallet av studentene (92 %) at bruk av feedback-clickers bidro til økt (subjektivt) læringsutbytte, sammenliknet med når disse ikke var i bruk. I intervjuene forsøkte vi å identifisere mer dyptgående hva det var med ”clickers” som eventuelt bedret studentenes læringsutbytte under forelesningene, hvordan de reflekterte omkring feedback de mottok under forelesningene og hvordan de selv benyttet slik feedback i deres videre arbeid med emnet etter forelesningen. Selv om flertallet oppga at feedback-clickers bidro til økt interaktivitet og bedret (subjektivt) læringsutbytte, mente noen studenter i intervjuene at feedback-clickers ikke støttet deres læringsstrategier og at de heller ikke ga økt subjektivt læringsutbytte.
Statistiske analyser (”Levene’s test for Equality of means”) ble gjennomført for å undersøke hvorvidt det var noen forskjeller mellom studentene avhengig av deres preferanse for presentasjonsverktøy, henholdsvis deres erfaringer med bruk av feedback-clickers.
Studenter som foretrakk forelesninger med omfattende bruk av presentasjonsverktøy opplevde bedre læringsutbytte med bruk av feedback-clickers (M = 3.47, S = 0.42) sammenliknet med dem som foretrakk mindre bruk av presentasjonsverktøy (M = 3.29, S = 0.43). Forskjellen var signifikant (p = 0.002). Dette funnet ble også bekreftet i logistiske regresjonsanalyser. Dersom en student rapporterte en preferanse for omfattende bruk av presentasjonsverktøy hadde han/hun 0.3 ganger høyere sannsynlighet for å rapportere bedre læringsutbytte enn de som foretrakk lite eller gjennomsnittlig bruk av presentasjonsverktøy.
På bakgrunn av dette finner vi at ARS kan fremme formativ e-vurdering under plenumsforelesninger, samt redusere noe av forskjellen mellom intendert læringsutbytte og subjektivt læringsutbytte i plenumsforelesninger. Samtidig reiser studien flere nye spørsmål som må følges opp i tiden fremover, spesielt med henblikk på en mulig ”Hawthorne-effekt” da man utvalgsmessig bare kunne ta med de studentene som møtte frem til forelesningene og dermed fikk erfaringer med bruken av ARS.
Diskusjon
Basert på de foreløpige funnene finner man at ”moments of contingency” («mulighetsøyeblikk») er et nøkkelbegrep når man undersøker formativ e-vurdering i store plenumsforelesninger. Dette begrepet ser ut til å kultivere studenters selvregulering med bruk av ARS på nye måter som man også finner i andre ARS-studier (f.eks. Mayer, Stull, DeLeeuw, Almeroth, Bimber, Chun, Bulger, Campbell, Knight og Zhang 2009). Studenters forsøk på å svare på faglige spørsmål og deretter motta umiddelbar feedback, ser ut til å fremme aktiv kognitiv prosessering på tre måter: a) studenter kan bli mer oppmerksom på forelesningsinnholdet i forkant av spørsmålene, b) studenter synes å arbeide kognitivt hardere for å organisere og integrere materialet under spørsmålsvaring (inkl. summing med medstudenter), c) studenter kan utvikle metakognitive ferdigheter for å vurdere hvor godt de forstår forelesningsstoffet og hvordan de skal forbedre sitt eget læringsutbytte ut fra den feedback de mottar. Disse tre dimensjonene ser ut til å utgjøre et sentralt bakteppe for de foreløpige resultatene, men som nevnt er det behov for longitudinelle studier innenfor dette området for å følge opp og undersøke de tentative funnene ytterligere. Samtidig er det behov for å studere studenters objektive læringsutbytte i plenumsforelesninger, noe som krever et mer omfattende forskningsdesign, blant annet komparative nasjonale -og internasjonale design og eksperimentelle design.
Ser man dette i et videre perspektiv så registrerer man at både monologismen og dialogismen har sin plass i denne type plenumsforelesninger. Man kan på mange måter si at ARS-teknologien underbygget foreleserens ytre tale og simultant forsterket det dialogiske forhold til tilhørerens indre tale. I tillegg ga teknologien nye innganger til feedback og interaktivitet mellom foreleser og studenter som også tidvis utvidet de dialogiske mulighetene, men på andre premisser enn hva man tradisjonelt legger i begrepet dialog. Samtidig ser man studenter har ulike (digitale) læringsstrategier som gjør at man heller ikke på dette området finner noen ”quick fix” som hever læringsutbytte for alle studenter til nye høgder. Man ser også at teknologibruk må være pedagogisk fundert og nøye gjennomtenkt på forhånd om den skal ha noen effekt utover det man oppnår med tradisjonelle læremidler. Samtidig er det viktig at man utvikler mer systematisk kunnskap om plenumsforelesningen, både med og uten teknologibruk, slik at man ikke dveler ved gamle myter og stereotypier om denne forelesningen som sjanger, men heller prøver å se på hva empiriske studier viser oss.
Kronikken sto først på trykk i Skolemagasinet 4/2012.
Kronikken er et lite utdrag av artikkelen: Krumsvik, R., & Ludvigsen, K. (2012). Formative assessment in plenary lectures. Nordic Journal of Digital Literacy, 1(7), 36-54.
Referanser
Biggs, J., & Tang, C. (2007). Setting the Stage for Effective Teaching. In Biggs, J., & Tang, C. (Eds.) Teaching for Quality Learning at University (pp. 31-49). New York: McGraw Hill.
Black, P. & Wiliam, D. (1998). Assessment and Classroom learning. Assessment in Education, 5(1), 7-74.
Black, P. & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1), 5-31.
Bolognaprosessen (2005). Standards and Guidelines for Quality Assurance in the European Higher Education Area. European Association for Quality Assurance in Higher Education. Helsinki.
Bolognaprosessen (2007). A Framework for Qualifications in the European Higher Education Area. Background report. Copenhagen: Ministry of Science, Technology and Innovation.
Collins, A. (1992). Toward a design science of education. In E. Scanlon, & T. O’Shea (Eds.), New directions in educational technology (pp. 15-22). New York: Springer-Verlag.
Fish, W.W. and Lumadue, R. (2010). A Technologically Based Approach to Providing Quality Feedback to Students: A Paradigm Shift for the 21st Century. Academic Leadership, 1 (8), 5-11.
Hattie, J., & Timperley, H. (2007). The Power of Feedback. Review of Educational Research, 1(77), 81112.
Johnson, R. B., Onwuegbuzie, A. J., & Turner, L. A. (2007). Toward a definition of mixed methods research. Journal of Mixed Methods, 2(1), 112-133.
Krumsvik, R., & Ludvigsen, K. (2012). Formative assessment in plenary lectures. Nordic Journal of Digital Literacy, 1(7), 36-54.
Kvale, S. og Brinkmann, S (2009). Det kvalitative forskningsintervju. Oslo: Gyldendal.
Kvernbekk, T. (2011). Humaniorastudier i pedagogikk. Pedagogisk filosofi og historie. Oslo: Abstrakt Forlag.
Mayer, R.E., Stull, A., DeLeeuw, K., Almeroth, K., Bimber, B, Chun, D., Bulger, M., Campbell, J., Knight, A., & Zhang, H. (2009). Clickers in college classrooms: Fostering learning with questioning methods in large lecture classes. Contemporary Educational Psychology, 34(1), 51-57.
Kunnskapsdepertamentet (KD) (2010). Kvalifikasjonsrammeverket for høgere utdanning. Oslo: Statens Forvaltningsteneste.
Kunnskapsdepartementet (2011). Tilstandsrapport for høgere utdanning 2011. Oslo: Statens Forvaltningsteneste.
Maxwell, J. (2005). Qualitative research design: An interactive approach. New York: Sage.
Nicol, D. (2009). Assessment for learner self-regulation: enhancing achievement in the first year using learning technologies. Assessment & Evaluation in Higher Education, 34(3), 335-352.
NIFU- Step (2009). Evaluering av kvalitetsreformen. Oslo: NIFU STEP
Pachler, N., Mellar, H., Daly, C., Mor, Y., Wiliam, D., & Laurillard, D. (2009). Scoping a Vision for Formative e-Assessment: A Project Report for JISC. London: London Knowledge Lab.
Poulos, A. & Mahoney, M. (2007). Effectiveness of feedback: the Students’ perspective. Assessment & Evaluation in Higher Education, 1, 1-13.
Shute, V. J. (2008). Focus on Formative Feedback. Review of Educational Research, 78(1), 153-189.
Skodvin, A. (2000). Stemmene i auditoriet. Forelesning i bahktinsk perspektiv. Uniped, 23 (2), 16-26.
Statitsisk Sentralbyrå (SSB) (2011). Gjennomstrømning i høyere utdanning, 2009/2010. Oslo: SSB
Undervisnings- og forskningsdepartementet (UFD) (2001). Gjør din plikt – krev din rett. Kvalitetsreformen for høyere utdanning. Stortingsmelding nr. 27 (2000-2001). Oslo: Statens Forvaltningsteneste.