Construct Validity of High-stakes Tests : A Comparison of Finnish and Norwegian Written English Examinations

Abstract

Målet med denne studien er å undersøke og sammenligne norske og finske avgangseksamener på Vg3-nivå i Engelsk. Fokus er på forskjellene i tilnærmingen til vurdering av skriving i de to landene, og på vurderingsprosedyrens konstruktvaliditet. Med det som hensikt ble det gjort et utvalg av seks eksamener fra 2009, 2010 og 2011. Tre norske eksamensoppgaver fra Vg3 kurset «Engelsk litteratur og kultur» ble sammenlignet med tre såkalte «studenteksamener» fra siste året i videregående skole i Finland. En kvalitativ innholdsanalyse av disse prøvene ble utført for å undersøke om prøveinnholdet stemte overens med prøvekonstruktet. De ble analysert for å finne ut hva de egentlig testet, og hvordan dette korresponderte med det som beskrives i de respektive læreplanene. Analysen fokuserte på tre områder som potensielt kunne utgjøre en trussel for vurderingsprosedyrens konstruktvaliditet: konstrukt-underrepresentasjon, konstruktirrelevans og reliabilitet. Først og fremst viste studiet en betydelig forskjell på hvordan skriving ble testet i de norske og de finske eksamenene. De norske eksamenene inkluderer aspekter av akademiske skriveferdigheter, slik som argumenterende diskurs og kildereferanser, mens de finske eksamenene kun tester skriving som evnen til å produsere en sammenhengende tekst. For det andre, uavhengig av disse forskjellene, indikerte resultatet av analysen at konstruktvaliditeten er truet i begge eksamensformatene. Det var lite belegg for konstruktirrelevans, og intet kritisk å finne med tanke på reliabilitet. Imidlertid viste analysen konstruktunderrepresentasjon som en mulig trussel. Det vil si at prøvene unnlater å inkludere viktige aspekter av det læreplanen foreskriver. I Norge var det kultur- og samfunnsemnene nevnt i læreplanen som var underrepresentert i eksamensoppgavene. Når det gjald de finske eksamenene var det hovedsakelig mangel på testing av sjangerspesifikk skriving til tross for at det nevnes som en ferdighet i den finske læreplanen. Validiteten til funnene er begrenset til de seks eksamenene i utvalget, og beror til dels på subjektiv bedømmelse, men de skulle likevel kunne åpne for diskusjon rundt de nasjonale eksamenssystemene generelt. Studien foreslår at innholdet i fremtidige eksamener blir overveid for å sørge for at det som testes er i bedre overensstemmelse med de respektive læreplaner i begge land.

The main objective of this study is to investigate and compare the assessment of high-stakes, Vg3 level English examinations from Norway and Finland. The focus is on the differences in the approach to writing assessment in the two countries, and on the construct validity of the assessment procedure. For this purpose a sample of six examinations from 2009, 2010 and 2011 was selected. Three Norwegian examinations from the Vg3 course “English Literature and Culture” were compared to three English matriculation examinations from the last year of upper secondary school in Finland. A qualitative content analysis of these tests was conducted to examine if the test content was in line with the test construct. They were analyzed to discover what they really tested, and how this corresponded with what the respective English syllabi describe. The analysis focused on three areas that could potentially pose a threat to the overall construct validity of the tests: construct-underrepresentation, construct irrelevance and scoring reliability. First, the study showed a major difference in how writing was tested in the Norwegian and Finnish examinations. The Norwegian examinations consider aspects of academic writing skills, such as argumentative discourse and source referencing, while the Finnish examinations only test writing as the ability to produce a coherent text. Second, regardless of the differences, the results of the analysis indicate that the construct validity is threatened in both examination formats. There was little evidence of construct irrelevance, and nothing critical with regard to scoring reliability. However, construct-underrepresentation was found to be a threat; that is, the tests fail to include important aspects of what the syllabi prescribe. In Norway, it was the topical issues of culture and society mentioned in the Norwegian syllabus that was found to be under-represented in the examinations. For the Finnish examinations, it was mainly a failure to test genre-specific writing, despite this being mentioned as a skill in the Finnish English syllabus. The validity of the findings is restricted to the six examinations in the sample, and relies somewhat on the subjective judgment of the researcher, but the findings should open for discussion about the national examination systems in general. The study suggests that care be taken to consider the content of future examinations, ensuring that what they test is better in accordance with the respective syllabi in both countries.