Administrasjon og vurdering av programmeringsbesvarelser : En prototypeimplementasjon av et programvarerammeverk for automatisk og manuell evaluering og skåring av Java programmer

Abstract

Abstrakt: Å få gode indikatorer på prestasjons- og ferdighetsnivåer blant programvareutviklere har mange nyttige anvendelser, blant annet i rekrutteringsøyemed, opplæring og ressursplanlegging i ITprosjekter. Slike indikatorer kan også brukes for å få en mest mulig balansert allokering av forsøkspersoner (vha blokking) i kontrollerte software engineering eksperimenter, slik at disse får økt validitet. I de senere år er det blitt stadig vanligere å benytte realistiske programmeringsoppgaver som krever at studenter eller forsøkspersoner må skrive programkode. Den enkelte oppgave kan i etterkant vurderes med forskjellige vurderingsmetoder (funksjonell korrekthet, tid, kodemetrikk, lesbarhet, dokumentasjon, vedlikeholdbarhet osv.) eller skåringsregler (for eksempel vektlegging av tidsforbruk versus kvalitet på løsning). I tillegg kan den enkelte oppgave være av forskjellig lengde og struktur, for eksempel oppgaver bestående av flere del-innleveringer med korte tidsfrister eller større oppgaver med mer fleksible tidsfrister. Valg av vurderingsmetode, skåringsregel og oppgavestruktur avhenger av mange faktorer; for eksempel tilgjengelig maskinell støtte for vurderingsmetoder, formålet med undersøkelsen eller tilgjengelighet av manuelle karaktersettere. Uansett hvilken spesifikk metode, skåringsregel eller oppgavestruktur som velges, vil man behøve en stor mengde besvarelser for å få gode mål på prestasjons- og ferdighetsnivå, noe som medfører at det trengs programvare for å effektivt kunne administrere og vurdere oppgavene i etterkant. Problemstillingen for denne oppgaven er hvordan bygge et rammeverk slik at nye metoder for vurdering kan legges til på en fleksibel måte, og slik at skåringsregler kan forandres. I tillegg må det eksistere muligheter for å sammenligne forskjellige karaktersettere, som igjen benytter seg av forskjellige vurderingsmetoder og skåringsregler. Rammeverket må også kunne administrere oppgavene slik at nye vurderinger basert på nye vurderingsmetoder, endrete skåringsregler eller nye karaktersettere kan gjennomføres på en effektiv måte. Målsetningen for denne oppgaven er først å utvide funksjonaliteten til en eksisterende prototyperammeverk som er under utvikling ved Simula Research Laboratory. Dernest, å utvikle funksjonalitet for administrering av eksisterende data fra et gjennomført eksperiment hvor det stilles forskjellige krav til nye vurderingsmetoder, skåringsregler og karaktersettere.