| dc.description.abstract | Gjennom kunnskapsløftet av 2006 ble den grunnleggende ferdigheten Å kunne bruke digitale verktøy innført. Dette var et resultat av stadige teknologiske fremskritt, som også gjør det naturlig å innvie teknologien i undervisningen og eksamensavviklingen ved universitetene. Hensikten med studien min var å undersøke i hvilken grad en nettbasert prøve er et egnet verktøy som testmiddel av studenter i kjemi ved Universitetet i Oslo.
Det ble plukket ut 61 studenter fra kjemikurset KJM1100 – Grunnkurs i kjemi – til å delta i denne studien. De skulle i forkant av avsluttende eksamen teste ut en nettbasert prøveeksamen, bestående av flervalgsoppgaver. Karakterene til de utvalgte 61 studentene skulle, i etterkant av ordinær eksamen, sammenlignes med karakterene til resten av studentene ved KJM1100, referansegruppen. Dessverre var det kun 25 av de 61 studentene som tok prøveeksamen, noe som gir litt for lite tallmateriale, slik at alle resultater bør leses med et litt kritisk blikk.
Oppgavene på prøveeksamen er laget med hensyn på vanlige hverdagsforestillinger hos studenter, slik at oppgavene er diagnostiske, og enklere å gi tilbakemelding på. Programmet som er benyttet som testbase for prøveeksamen er Questionmark Perception. Perception innehar flere forskjellige statistiske verktøy, som er blitt benyttet i de statistiske beregningene for å kvalitetssikre oppgavene. Oppgavene er blitt vurdert med hensyn på diskrimineringsevne, vanskelighetsgrad og graden av samsvar mot de andre oppgavene. For å beregne samsvar mellom oppgavene, og mellom prøveeksamen og den avsluttende eksamen, er det blitt beregnet en korrelasjonskoeffisient. Parameteren Chronbachs alfa er blitt benyttet til å vurdere oppgavesettets reliabilitet. I tillegg er prøveeksamen analysert med tanke på innholdsvaliditet i forhold til årets avsluttende eksamen. Etter analysen ble prøveeksamen revidert til kun å inneholde statistisk godkjente oppgaver. Det var overraskende nok kun 18 oppgaver som ble godkjent for direkte bruk.
Etter de statistiske analysene viste det seg at prøveeksamens Chronbachs alfa hadde verdien 0,79, hvilket er en høy verdi for en prøve tatt av kun 26 studenter. Den reviderte prøven, bestående av kun 18 oppgaver, fikk en verdi av Chronbachs alfa på 0,82.
Det viste seg å være en vesentlig forskjell på studiedeltakere og referansegruppen. Referansegruppen hadde en snittkarakter på C, mens studiedeltakerne hadde et snitt på D. På forhånd hadde det blitt antatt at studiedeltakerne ville ha en høyere snittkarakter, pga. den ekstra testsituasjonen med tilbakemeldinger. Det kan tenkes at de studentene som valgte å melde seg på studien var generelt svake studenter, som trengte en ekstra testsituasjon.
Prøveeksamen viste seg å ha en god innholdsvaliditet i forhold til avsluttende eksamen, både med tanke på oppgaver fordelt på temaer og kunnskapskrav. Poengene som ble gitt på prøveeksamen varierte fra 0-4, men det ble konstatert i etterkant at det kun burde benyttes 0 eller 1 poeng, for henholdsvis feil og riktig svar. Gjennom analysen av oppgavene viste det seg også at det ville være mest hensiktsmessig å benytte 3 svaralternativer på hver oppgave. Dette var fordi det som regel er vanskelig å finne 3 sannsynlige distraktorer, slik at én eller to distraktorer i oppgavene på prøveeksamen ofte var dysfunksjonelle.
Korrelasjonen mellom avsluttende eksamen og prøveeksamen var 0,49, med et signifikansnivå på 0,02. Den reviderte prøveeksamen korrelerte med en verdi på 0,43 med signifikansnivå 0,05 mot avsluttende eksamen. Det vil si at ordinær prøveeksamen samsvarer i større grad med avsluttende eksamen enn den reviderte. Årsaken til dette kan være at revidert prøveeksamen er kvalitetssikret, mens hverken avsluttende eksamen eller ordinær prøveeksamen var kvalitetssikret. En annen årsak kan være at poengfordelingen på de enkelte oppgavene ved avsluttende eksamen og prøveeksamen ikke samsvarer, slik at dette har gitt forskjellige resultater.
Siden det var signifikant korrelasjon mellom prøveeksamen og avsluttende eksamen, kan det konkluderes med at nettbasert testing av denne sorten er et egnet vurderingsverktøy av studentene. Analysen av de enkelte oppgavene på prøveeksamen tilsier at alle oppgaver som benyttes i en testsituasjon bør kvalitetssikres, siden det er vanskelig å lage gode, diskriminerende og diagnostiske oppgaver. | nor |