| dc.description.abstract | 1) Problemområde/problemstilling:
Formålet med denne oppgaven er å bidra til forskningen på kriteriespørsmålet i evaluering. Min foreløpige hypotese i oppgaven var at evaluering ikke uten videre fører til endring og læring, selv om intensjonen med evalueringer generelt er at de skal vise retning i videre utvikling. Det er interessant å se hvordan evalueringsresultater blir benyttet, og hvordan et relativt slett grunnlagsmateriale ofte kan brukes som veiviser. Evalueringsbegrepet kan være sterkt knyttet til begrepet kvalitet, samtidig som materialet evalueringen bygger på ofte undergraver denne forbindelsen. Det har også vært interessant i oppgaveprosessen å se hvordan teoretikere strides om hvorvidt evalueringer bør ha som mål å føre til læring.
Evaluering er nært forbundet med læring. Å se seg tilbake og reflektere over egen praksis er utøvelse av profesjonalitet (Dale 1998). Profesjonalitet i arbeidet, enten det handler om individ eller organisasjon, handler om å legge til rette for refleksjon hvis målet er å utvikle kompetente og lærende organisasjoner. Hvordan læring best kan tilrettelegges i evalueringssammenheng er et lite behandlet tema, som jeg mener å ha gitt mer oppmerksomhet gjennom denne oppgaven.
Jeg har søkt å finne ut av hvordan en evaluering ideelt sett bør utarbeides og gjennomføres for å føre til læring. Mitt organisasjonsteoretiske ståsted har vært en ”lærende organisasjon”. Problemstillingen i oppgaven er derfor:
Hvordan bør en evaluering utarbeides og gjennomføres for å gi et best mulig grunnlag for læring i en ”lærende organisasjon”?
Med utgangspunkt i problemstillingen har jeg gjennom evalueringsteori forsøkt å besvare hva som kjennetegner en god evaluering, og hvordan den bør utarbeides for å gi et best mulig grunnlag for læring. Dette har jeg gjort ved hjelp av Evert Vedungs åttepunktprogram for ledelse av evaluering, og hans fasemodell for evalueringer i offentlig sektor. Jeg har videre belyst betydningen av konsistens og realisme i utviklingen av et program for læring, og vist hvordan dette også har betydning for utviklingen av evalueringer. Til dette har jeg benyttet Erling Lars Dales teori om didaktisk rasjonalitet og hans ulike kompetansenivåer. Jeg har videre latt Lars Qvortrups vitensposisjoner vise hvordan evalueringer bør tilrettelegges for at læring skal finne sted. Med bakgrunn i de nevnte teorier har jeg utviklet en modell som jeg mener viser sammenhengen mellom evaluering og læring.
2) Metode:
I denne oppgaven er formålet å finne ut hvordan evalueringer bør utarbeides og gjennomføres for å føre til læring. Jeg har nærmet meg dette på to måter, ved å henvende meg til teori og finne ut hva evalueringsfeltet har kommet til når det gjelder dette, og ved å se på en evaluering i offentlig sektor som nylig er gjennomført. Jeg har på denne måten gått veien om empiri for å se hva som er benyttet av den teorien som finnes på evalueringsfeltet i dag, og hva evalueringsfeltet eventuelt kan lære av den utførte evalueringen.
Evalueringen i reform av trosopplæring er benyttet som en test-evaluering som jeg har belyst evalueringsteori opp mot. Jeg har sett på hvordan evalueringen er utviklet og gjennomført, og hva den mener å ha funnet av kunnskap, for deretter å analysere det jeg har funnet i lys av teori. Dette har jeg gjort ved å analysere det materialet forskerne selv har kommet fram til.
Gjennom analysen har jeg da foretatt en metaanalyse av den evaluering som er foretatt, med spesielt fokus på de funn forskerne selv mener å ha funnet, samt det grunnlag de bygger funnene på. Jeg har besvart problemstillingen ved å analysere evalueringsrapporter fra forskerne ved hjelp av en kritisk hermeneutisk innfallsvinkel i analysen.
3) Data/kilder:
Alle evalueringsrapporter som er offentliggjorte på hjemmesiden til reform av trosopplæring på LMSèt til Kirken.no er kritisk gjennomgått og sammenlignet, og benyttet som grunnlag for analysen. Gjennom analysen har jeg da foretatt en metaanalyse av den evaluering som er foretatt gjennom hele forsøksfasens fem år. Jeg har hatt spesielt fokus på de funn forskerne selv mener å ha funnet, og det grunnlag de bygger funnene på.
Kildene mine for øvrig er anerkjent evaluerings- og læringsteori. Jeg har søkt å gå så bredt som mulig til verks teoretisk på evalueringsfeltet. Tidsrammen jeg har hatt til rådighet i oppgaven har likevel lagt begrensninger.
4) Resultater/hovedkonklusjoner:
Skal evalueringen ha som mål å føre til læring, eller skal den kun være en beretning eller rapport om hva som er skjedd? Hvor går skillet mellom en god og en dårlig evaluering? Er det noen felles kriterier å forholde seg til?
Vedung har vist at evaluering innebærer i etterkant å oppdage, kartlegge, og bedømme resultater med det formål å oppnå økt selvrefleksjon, dypere forståelse og gjennom dette ta bedre begrunnede beslutninger (Vedung 1998). For å oppnå økt selvrefleksjon og dypere forståelse forutsetter det at det har foregått prosesser av læring. Qvortrup viser med sine vitensposisjoner at refleksjon forutsetter prosesser av læring, som krever ulik type tilrettelegging i organisasjonen, dersom refleksjon og læring skal finne sted.
For at evaluering skal innebære refleksjon over praksis, og føre til dypere forståelse, må evalueringen tilrettelegges for at læring skal finne sted. Det ligger også som en forutsetning i dette, at uten denne tilretteleggingen vil ikke evalueringer fungere etter sin intensjon i henhold til Vedungs forståelse av evaluering. Det er derfor nærliggende å hevde at med bakgrunn i denne forståelsen av evaluering og læring, er det et verdikriterium i all evaluering at de bør ha som mål å føre til læring.
Tilrettelegging for læring er et spørsmål om didaktikk. Godt didaktisk arbeid ved hjelp av god planlegging sikrer kvalitet i utarbeidelse og gjennomføring, og kan gi evalueringen funksjon som verktøy for læring i ”en lærende organisasjon”. For at evalueringer skal fungere etter sin intensjon og bringe aktører og organisasjoner til dypere forståelse og refleksjon over praksis, må den legge til rette for refleksjon på ulike nivåer i ”en lærende organisasjon”. Dette er nødvendig for å kunne gi retning videre.
Jeg har gjennom arbeidet med oppgaven utviklet en modell, som jeg har kalt ”didaktisk evalueringsmodell”. Modellen forener, slik jeg ser det, Vedungs engasjement for de ulike fasene i en evalueringsprosess i offentlig sektor, og mitt viktigste anliggende som jeg beskriver gjennom den didaktiske relasjonsmodellen og Dale og Qvortrups teorier for tilrettelegging av refleksjon og læring; viktigheten av didaktisk arbeid i forberedelse av evalueringsarbeider. En prospektiv holdning og innfallsvinkel til evalueringsfeltet, vil kunne bidra til bedre kvalitet i evalueringsresultater og føre til bedre begrunnede beslutninger i offentlig sektor.
Gjennomgangen av den didaktiske evalueringsmodellen har vist at det skal omfattende tilrettelegging i organisasjonen til dersom evalueringer skal føre til læring. Denne tilretteleggingen av evalueringen er med på å bestemme retningen for evalueringen, hva den skal måle, hva det skal måles med, for og med hvem, og hvordan målingen skal foregå. Arbeidet med de didaktiske kategoriene bidrar derfor til å bestemme de øvrige verdikriteriene i evalueringen.
Testevalueringen kan bare i svært begrenset grad benyttes som belegg for mitt anliggende, siden den ytre validiteten er så svak. Likevel har jeg tillatt meg i analysen å hevde at sterkere fokus på planlegging og tilrettelegging for læring på alle nivåer i organisasjonen, ville betydd at evalueringen i reform av trosopplæring sannsynligvis kunne bidratt til bedre resultat for forsøksfasen, og et bedre utgangspunkt for implementeringen i organisasjonen. Jeg mener derfor at testevalueringen min underbygger mitt anliggende om å vektlegge en mer prospektiv innfallsvinkel til evalueringsfeltet. Det er vanskelig å få en evaluering til å fungere som virksomhet for læring hvis den ikke er tilrettelagt for det i organisasjonen, og det er vanskelig å få læring til å bli en ønsket endringsprosess hvis de ønskede parametre ikke er definerte i forberedelsesfasen, slik de didaktiske kategoriene kan bidra til. | nor |