Följande delar har ingått i projektet:

Seminarieserien

Tre seminarier gavs inom projektet, med innehåll som anknöt till delprojektens teman  akademisk litteracitet och examination. Seminarierna var välbesökta och gav upphov till intressanta diskussioner och nätverkande. Alla seminarier webbsändes och spelades in. Nedan finns utdrag ur ett av seminarierna, som är fritt att använda för pedagogisk utveckling och lärarutbildning.

 

Seminarium I, 15 oktober 2015

Gudrun Erickson, Göteborgs universitet: "Vad är god bedömning – i språk?"

Gudrun Erickson belyser examination utifrån de fem didaktiska frågorna, och ger   allmänpedagogiska, ämnesspecifika och forskningsmässiga perspektiv.

 

Seminarium II, 4 november 2015

Patricia Staaf, Malmö högskola: "Som man frågar får man svar"

Utifrån Patricia Staafs licentiatavhandling presenterades och diskuterades skribentroller och språkfunktioner i hemtentors uppgiftsinstruktioner och andraspråksstudenters provsvar. Kan en mer medveten användning av de två begreppen gynna nya studenters, och i synnerhet andraspråksstudenters, möte med det akademiska skrivandet? Kan skribentroller och språkfunktioner användas som pedagogiska verktyg för att dels skapa förståelse för förväntningar och krav, dels ge återkoppling?

 

Seminarium III, 27 november 2015

Slobodanka Dimova, Köpenhamns universitet: The Role of Language Tests in Language Policy Implementation in Higher Education

The rapid increase of EMI programs across Europe has raised concerns regarding the oral linguistic competencies of non-native English speaking lecturers and the implications for the quality of the teaching. Consequently, lecturers' proficiency in English is under scrutiny and universities are developing language policies for quality assurance, which are enforced by implementation of internal assessment procedures. This seminar will focus on the development, implementation, and validation of a performance-based EAP certification test, Test of Oral English Proficiency for Academic Staff (TOEPAS), designed to respond to such policy at the University of Copenhagen. The interplay between language skills, specific purpose content knowledge and teaching skills will also be addressed and discussed in regard to its role in the TOEPAS and in language training for teaching in the English-medium, content-based classroom.

 

Examinationsformer i språk

Rapporten nedan består av följande avsnitt:

Språklig bedömning

Språklig bedömning är ett område med hög relevans för studenternas förutsättningar för framgångsrika studier, och för språkdidaktisk teori och praktik. Europarådets policydokument Gemensam europeisk referensram för språk har gett upphov till ett omfattande intresse för samverkan mellan undervisning och bedömning bland svenska lärare och forskare. Intresset har dock varit störst inom ungdomsskolan, medan språklig bedömning av universitetsstuderande är ett relativt outforskat område i Sverige.

Språkämnen vid svenska universitet behandlar vanligen å ena sidan språkfärdighet, och å andra sidan språkvetenskap, litteraturvetenskap och kulturstudier. Målsättningen på grundnivå är god interaktion mellan färdighetsmoment och innehållsmoment, medan tyngdpunkten förflyttas till innehållsmoment på avancerad nivå. Vid examination av språkfärdighetsmoment, fokuserar prov i regel på bedömning av språkliga strukturer såsom uttal, ordförråd och meningsbyggnad. När det gäller språk- och litteraturvetenskapliga kurser samt kultur- och samhällsinriktade kurser kan det finnas variation gällande vilken aspekt som ska bedömas eller ges mest vikt, den rent innehållsmässiga, den språkliga, eller båda delarna. I de fall där studenternas språkfärdighetsnivåer inte möjliggör högre studier i innehållsämnen, används inte målspråket vid undervisning och examination. Språkämnenas mångfacetterade karaktär avspeglas vanligen i en rik variation av lärandeaktiviteter och examinationsformer.

Examination av språk vid Stockholms Universitet

Vid Stockholms universitet finns i nuläget 7 språkinstitutioner, med undervisning i 25 språk:

  • Engelska institutionen: engelska
  • Institutionen för Asien-, Mellanöstern- och Turkietstudier: arabiska, japanska, kinesiska, koreanska
  • Institutionen för lingvistik: svenskt teckenspråk
  • Institutionen för slaviska och baltiska språk, finska, nederländska och tyska: polska, ryska, tjeckiska, lettiska, litauiska, finska, nederländska, tyska
  • Institutionen för språkdidaktik: engelska, finska, franska och svenska för klassrummet
  • Institutionen för svenska och flerspråkighet: svenska, danska, fornislänska, gotiska, norska
  • Romanska och klassiska institutionen: franska, antik grekiska, italienska, latin, portugisiska, spanska

Projekts mål var att kartlägga och diskutera institutionernas examinationspraxis vad gäller former, objekt och funktioner, i syfte att kunna identifiera utvecklingsmöjligheter och lyfta fram olika praxis som inspiration. Inom ramen för projektet fanns inte utrymme att undersöka studentperspektivet, men detta är en möjlig fortsättning av arbetet.

Metod för kartläggningen

Kartläggningsarbetet bestod av fyra huvuddelar:

  1. Insamling av examinationsformer från kursplaner
  2. Enkät till studierektorer / ämnesansvariga
  3. Intervjuer med undervisande lärare
  4. Sammanställning av riktlinjer för examination i språk vid Stockholms universitet

1. Sammanställningen av examinationsformer från kursplaner utfördes i första hand i orienterande syfte, för att få en lokal känsla för praxis och kunna formulera adekvata frågor i enkät och intervju. Urvalet var därför något godtyckligt, med "språkkurser inom grundutbildningen från så många språk som möjligt" som kriterium, och alltså inte statistiskt balanserat vad gäller färdighet / innehåll / kursnivå / poängantal / målspråk med mera. Totalt ingick 400 delkurser från 7 institutioner och 25 språk, plus ämnent Tolkning och ämnet Språkdidaktik. Här finns en lista med alla kurser som ingick: Delkurslista (63 Kb) Trots godtyckligheten i urvalet, bedömdes översikten tillräckligt representativ för att kunna användas för diskussion och tolkning av övriga resultat från projektet.

2. Frågorna i enkäten berörde vilka examinationsformer och uppgiftstyper som konkret används vid institutionen, hur praxis varierar beroende på ett antal faktorer såsom ämne som examineras eller tid på terminen, och vilka media, teknik och referenstest som används. En fråga om önskemål om utveckling eller stöd i examinationspraxis ställdes också. Enkäten distribuerades till studierektorerna vid språkinstitutionerna, med verktyget Survey and Report. Alla institutioner utom en besvarade enkäten. Flera institutioner inkom med svar från ansvariga för olika språk på institutionen, så totalt inkom 13 svar från 6 institutioner. Här finns alla frågor: Enkät (239 Kb)

3. Intervjufrågorna berörde faktorer som direkt och/eller indirekt kan påverka valet av examinationsformer på enskilda institutioner. Intervjuguiden formulerades som frågor kring vilka de främsta utmaningarna kring examination är för olika roller på institutionen - lärare, administratör, studierektor, prefekt, student; se denna lista: Intervjuguide (90 Kb) Listan över tänkbara utmaningar användes som diskussionsunderlag i de semistrukturerade intervjuerna, och spände över områden som akademisk frihet, reliabilitet, lokaler och institutionskultur. Tanken var att intervjua fokusgrupper, för att redan i insamlingsfasen möjliggöra kunskapsutbyte mellan institutioner. Detta blev dock svårt att koordinera. 15 personer ställde upp som informanter. Dessa representerade 14 språk. Tre intervjuer genomfördes med par från olika institutioner, resten enskilt. Alla 11 intervjuer utfördes av samma projektmedarbetare, som spelade in intervjuerna och förde anteckningar.

4. Sammanställningen av riktlinjer för examination bestod av dokumentation från Högskoleförordningen, lokala dokument vid Stockholms universitet, samt av intervjuer med centralt ansvariga vid Centrum för universitetslärarutbildning och Humanistiska fakulteten.

Gruppering av former

Sammanställningen av kursplaner visade variation både i valda former, antal former per kurs och benämningar av former som verkar snarlika i en översikt. För att kunna se trender i materialet, grupperades benämningarna enligt aspekter om

  1. Modus, där den stora uppdelningen var mellan MUNTLIG och SKRIFTLIG form. I kategorin muntlig räknades även teckenspråks språkfärdighetsprov in. Enstaka fall av PERFORMANS förekom, som här ska förstås som helhetsbedömning av yrkesskicklighet; samt kategorin DELTAGANDE. Denna sista kategori är enligt gällande riktlinjer inte giltig som examinationsform utan endast som kurskrav, men då den ändå fanns upptagen i vissa kursplaner som examinationsform har den här räknats med.
  2. Tid och plats, där SAL fick samla examinationsformer som utförs på angiven plats, vanligen skrivsal eller seminarierum, med fast start- och sluttid, och INLÄMNING som fick samla examinationsformer som utförs på självvald plats med i huvudsak fast sluttid.
  3. Omfattning, där TENTAMEN tolkades som examination av större omfattning än former som kallades något av UPPGIFT - REDOVISNING - PROV.
  4. Om studenten examineras INDIVIDUELLT eller som del av en GRUPP. Individuell examination inkluderar enskild examination, men sker i de flesta fall i grupp.

Ett femtiotal examinationsbenämningar blev då 12 grupper enligt denna uppställning: Gruppering av former (20 Kb) (Fler än 12 grupper är möjliga rent kombinationsmässigt, men alla dessa förekom inte i materialet.)

Variation av former

Delkurserna i materialet examinerades med mellan 1 och 5 examinationsformer per delkurs, vilket gav totalt 791 former. I en intervju framkom att variation kan vara en medveten strategi i ämnets lägre delkurser, i syfte att introducera nya studenter i olika former på ett tidigt stadium. I snitt examinerades varje delkurs med 2 former. I de 42% av kurserna där endast en form användes, hade 85% bara ett examinationstillfälle. Generellt torde fler examinationsformer och -tillfällen inom kurserna höja validiteten, men vi har inte inblick i kvaliteten på enskilda examinationer och kan inte säga att det i sig är negativt att använda bara en form. Dessutom omfattade dessa 42% av delkurser i de allra flesta fall mindre än 7,5 hp – snittet låg på 5,3 hp – och det finns rimlighetsaspekter på hur många examinationer som kan vara meningsfulla inom en liten kurs. Sett över terminer eller kurspaket blir chansen stor att studenten får möta flera examinationsformer.

I de kurser som examinerades genom en enda form, var skriftlig salstentamen vanligast. I intervjuerna motiverade flera informanter valet av salstentamen som ett sätt att kontrollera/säkerställa tentandens identitet vid något tillfälle under terminens gång, mot bakgrund av att det dessvärre även i språkämnena förekommer oetiska och otillåtna metoder från studenternas sida, framför allt i inlämningsuppgifter. Ett annat argument för salstentamen, både muntlig och skriftlig, var att det inom språkfärdighetsområdena kan vara intressant att mäta med vilken säkerhet, automatik och virtuositet studenterna bemästrar nya språkmönster.

Kommentarer i enkäten visade att det var svårt för flera studierektorer/ ämnesansvariga att besvara frågorna för hela institutionen, varför svaren inte är helt tillförlitliga. Flera resultat är dock i linje med trenderna i kursplaneöversikt och intervjuer, exempelvis variationen av former över områden, som illustreras i diagram 1 nedan. Examinationsportfölj är den minst vanliga formen, men den används i tre ganska olika områden: skriva, läsa och interaktion.

Diagram 1. Examinationsformer som används i olika områden inom språkämnena. 13 svar inkom, från 6 institutioner.
Diagram 1. Examinationsformer som används i olika områden inom språkämnena. 13 svar inkom, från 6 institutioner.

 

Diagram 2 visar att den vanligast förekommande formen i kursplanematerialet var skriftlig inlämningsuppgift, följd av muntlig redovisning i sal. Dessa två utgjorde också den vanligaste kombinationen av former.

Den minst vanliga formen var muntlig inlämningsuppgift. Givet de tekniska möjligheter som finns för inspelning av muntligt eller tecknat språk, är det anmärkningsvärt att denna form förekommer i så ringa grad. I intervjuerna framkom att muntlig examination generellt varierar till sin form i mycket större grad än skriftlig. Denna variation spände från enskild muntlig examination på lärarens arbetsrum, till krav på videoinspelad examination med bedömning av två av varandra oberoende lärare. Olikheterna kan bero på många faktorer, såsom institutionskultur, studentgruppstorlek, mål med examinationen med mera. Det finns inte tydliga centrala riktlinjer för muntlig examination, inte heller rekommendationer vad gäller att göra muntlig examination mer anonym, även om tekniken finns. Ur ett rättsäkerhetsperspektiv för både student och bedömande lärare, kunde det vara en utvecklingsmöjlighet för språkinstitutionerna att komplettera muntlig examination i sal med muntliga inlämningsuppgifter.

Fördelning av former
 

 

Lokaler, media och teknik

Frågor om lokaler, media och tekniska hjälpmedel för examination ställdes i både enkät och intervjuer. Institutionerna var i det stora hela nöjda, men följande önskelista kunde sammanställlas:

  • Utveckling av examination i distanskurser
  • Nätbaserade antagningsprov
  • Digitala läsförståelseprov
  • Interaktiva program i realtid
  • Fler flexibla seminarierum för undervisning och examination i språk, i stil med Språkparken på Språkstudion

Papper och penna dominerade vid examinationer i sal, medan Mondo inlämningsmapp och ordbehandlingsprogram dominerade i inlämningar. Få personer i intervjuerna kände till universitetets digitala tentamenstjänst Exia. Några dem som kände till den uppgav att de undvek den med hänvisning till att den är belagd med kostnader, samt att dess feedbackmöjligheter på språkliga företeelser är trubbiga. Flera kände till en del av Språkstudions digitala examinationsmöjlifheter, som är kostnadsfria för språkinstitutionerna ( Examination på Språkstudion (84 Kb) ) Digital examination är ofta uppskattat av studenter, speciellt vad gäller produktion av längre texter, men flera språkinstitutioner uppgav att det vid examination i sal sällan handlar om produktion av långa textstycken. Sådana moment examineras istället med inlämningar eller hemtentor. En institution uppgav också en lite ironisk retromanöver i en kurs: studenterna hade fått skriva flera förberedande tentaliknande övningsuppgifter digitalt i sal, men själva tentan var bokad i sal med papper och penna. Studenterna blev då stressade över de nya förutsättningarna, och tyckte sig inte kunna prestera lika väl som vid övningstillfällena. Institutionen tog då bort de digitala övningstillfällena för att göra situationerna så jämförbara som möjligt, för att studenten skulle kunna fokusera på kvalitet i examinationssituationen.

Akademisk frihet efter bolognareformen

Ett tema som återkom i intervjuerna var hur lärares arbete förändrats efter bolognareformen, och hur detta påverkar examinationens validitet och reliabilitet. En vanlig uppfattning är att kravet på att examinationsformer ska anges i kursplanerna medfört begränsningar för undervisande lärare i den akademiska friheten att anpassa och utveckla kurserna. Att ändra en kursplan är en tungrodd apparat som kräver lång framförhållning. Flera lärare känner en frustration över detta, att de måste undervisa fram mot en examinationsform de inte tror på eller tycker är lämplig just då. Exempel på röster ur materialet i denna fråga:

"Antagandet är att [kursplanerna] är till fördel för studenterna, men det kan vara så olika mellan terminerna: studentgruppen, läraren. Att kunna fråga: vad tycker ni? ska vi ta en uppgift till? -- man tar inte bort lärandemål men vill ha ett formativt arbetssätt -- detta är då 'fel'."

"Borde inte de som undervisar kunna påverka praxis, eftersom lärarna tillsammans med studenterna är de enda som har direkt erfarenhet av densamma?"

"Varför ska examinationsformerna anges i kursplanen? Detta signalerar att examinationsformerna inte är likvärdiga".

Andra lärare upplever dock inte detta som ett problem. De menar att de är betrodda att utforma undervisning och provkonstruktion, även om just examinationsformen ligger fast. Dessa åsikter ackompanjeras ofta av kommentarer som illustrerar medvetenhet på institutionen, liksom i dessa två olika röster:

"vi har försökt vara flummiga [i kursplanen] och hållit det så öppet som möjligt"

"de [kursplanerna] ska vara tillräckligt vaga för att ge utrymme för undervisande lärare"

Det kan vara värt att diskutera hur kursplanernas rigiditet påverkar formativa arbetssätt, och hur de påverkar lärarens mandat att utföra sitt hantverk.

Referenstest och anställningsbarhet

På frågan om institutionerna använder internationella referenstest för bedömning av språkfärdighet, svarade de flesta nej (7 st), eller ja i formativt syfte (5 st). Två svarade att de används i utformningen av lärandemålen, och två svarade att de används när studenterna ska på erasmusutbyten, det vill säga när studenterna själva behöver kunna uppge för en extern bedömare vilken språkfärdighetsnivå de är på. Detta kom upp till diskussion i intervjuerna i samband med anställningsbarhet. Flera studenter efterfrågar möjlighet till omdömen av det slaget, vilket kan vara något att samtala vidare om på institutionerna.

Språklärarrollen på Stockholms universitet

Sammanställningen av riktlinjer för examination inom språk gav upphov till diskussioner i projektgruppen av hur utbildning och examination av framför allt språkfärdighet ryms inom universitetets uppdrag. Enligt Högskolelagen (Lag 2009:1037) ska utbildning på grundnivå utveckla studenternas

  • förmåga att göra självständiga och kritiska bedömningar,
  • förmåga att självständigt urskilja, formulera och lösa problem, och
  • beredskap att möta förändringar i arbetslivet.

Inom det område som utbildningen avser ska studenterna, utöver kunskaper och färdigheter, utveckla förmåga att

  • söka och värdera kunskap på vetenskaplig nivå,
  • följa kunskapsutvecklingen, och
  • utbyta kunskaper även med personer utan specialkunskaper inom området.

Det är inte tydligt hur språkfärdighet och språkutveckling i sig anknyter till någon av ovan punkter, även om det är tydligt att språkfärdighet har stor betydelse som medel för att uppnå ovan punkter. Detta är inte unikt för språk, utan aktuellt även för andra ämnen där grundläggande färdigheter, som inte kan tillägnas på gymnasienivå, är en förutsättning för att uppnå djupare kunskap, kritiskt förshållningssätt, analytiskt tänkande och problemlösning. Ett sätt att lösa detta på institutionerna, som nämndes i inledningen, är att bedriva undervisning i innehållsämnena på svenska eller engelska, och inte på målspråket. Ett annat sätt är att i bedömningar starkt underordna kvaliteten på studentens språk det innehåll studenten avser kommunicera. Detta kan tyckas bisarrt inom språkämnen, men med målen för högre utbildning i åtanke kan det vara en väg att visa att språkämnet är mer än språkfärdighet, och, som en informant uttryckte det, "vara något mer än Folkuniversitetet".

Denna punkt var inte primär för undersökningen, men den befanns ha betydelse för språklärarnas arbetsmiljö, deras upplevelse av identitet och status på institutionen samt för deras möjligheter till kompetensutveckling. Dessa faktorer kan tänkas påverka kvaliteten på undervisning och examination, och på vilka signaler som sänds ut till studenterna om universitetets syn på språk. Den hade också betydelse för föreliggande undersökning, då det nästan uteslutande var lärare i språkfärdighetsämnen eller språkvetenskap som kände sig adresserade av inbjudan till enkät och intervju. Lärare inom innehållsämnen hänvisade i två fall på direkt fråga att kollegor inom språkfärdighet vore lämpligare som informanter i undersökningen. Detta indikerar att många medarbetare på språkinstitutioner inte identifierar sig som lärare i "språkämnen", och att "språk" i många fall likställs med språkfärdighet. Av de lärare som intervjuades, uttryckte flera att det i institutionskulturerna finns inbäddat att litteratur/kultur utgör A-laget, medan språkfärdighet/språkvetenskap utgör B-laget, vad gäller resurser, status och synlighet. Upplevelsen är att undervisning i själva språket är "något som måste göras", helst så snabbt och billigt som möjligt, eftersom det inte är del av ett vad universitetet "egentligen" ska göra. Språkfärdighet anses också få låg status för att det endast handlar om undervisning och inte forskning. Flera lärare berättade om att de på andra lärosäten i Sverige och utomlands erfarit en annan status för språkfärdighetsämnet. Exempel gavs på arbetsplatser där medarbetarna med regelbundenhet fått fortbildning och feedback i språkdidaktiska metoder:

"Jag är intresserad av didaktiska tekniker i språkklassrummet, av kurser inom didaktik, till exemepl om attityder och motivation. Det fanns på tidigare arbetsplatser, inte här. Här finns inget samtal, ingen feedback, ingen kommer och auskulterar. Didaktiken kommer i andra hand, forskning prioriteras".

En lärare löser situationen med att åka utomlands:

"Jag känner mig ensam i ämnet på SU, åker till [målspråksland] för att gå pedagogiska kurser. Kurser och workshops utomlands är moderna, jag får tid till självreflektion och kan förnya mig själv som lärare, skapa övningar, till exempel grammatik i kommunikation. Jag åker även för att få en kick, insupa kulturen, tar med mig 'Best practise' hem".

En lärare sammanfattar läget på sin institution såhär:

"Kompetent person i didaktik saknas, och det saknas medvetenhet om nödvändigheten i att det ska finnas en sådan person."

En avvikande iakttagelse ska dock nämnas, och det var att statusen och tillfredsställelsen för lärare tycktes starkare i så kallade "små" språks institutionsmiljöer, även om dessa blivit upptagna i större institutioner. Detta kan bero på att det inte finns utrymme för så mycket uppdelning inom små miljöer, litteraturvetare kan behöva undervisa i grammatik likväl som grammatiker i litteratur. En annan faktor kan vara ekonomin, då små miljöer kanske i större grad värnar om inkomster från grundstudenter. Det kan också vara så att mindre miljöer möjliggör mer kontinuerliga och kvalitativa samtal mellan lärare, forskare och studierektorer om ämnet och arbetsmiljön.

I det stora hela kunde dock en rekommendation vara att diskutera statusfrågan på institutionerna, då man kan ana att en attitydförändring behövs för att behålla kvalitet, studenter och medarbetare. Språkstudion skulle kunna bidra som forum för språkdidaktisk utveckling. Den har utifrån denna undesökning genomfört ett första "Språklärarmingel" under våren 2016, där denna undersökning presenterades, och det sen fanns möjlighet till nätverkande och att ge förslag till språkdidaktiska workshops. En workshop har under våren getts utifrån vardera delprojekt: Jeanna Wennerberg om att Stötta akademiskt skrivande, och Birgitta Fröjdendahl och Joakim Sigvardson om Examinationsformer i språk. En sammanfattning av den senare finns här: Workshop Examinationsformer (30 Kb) .

Sammanfattning och tack

Sammanfattningsvis kan sägas att samtliga språkinstitutioner använder en mångfald av exminationsformer på ett didaktiskt medvetet sätt. Stor kompetens och nyfikenhet inom examination finns, men tid och resurser för utveckling tycks i många fall begränsade. Diskussioner om språksyn, status för lärare samt akademisk frihet är aktuella inom och mellan institutioner, liksom teknik och riktlinjer för distansexamination, muntliga examination och digitala antagningsprov.

Det insamlade materialet, framför allt intervjumaterialet, är mycket rikt. Det finns inte utrymme att redovisa allt inom ramen för projektet, men det finns kvar för vidare utvecklingsarbete.

Projektmedlemmarna tackar alla medverkande informanter för värdefull input och inspirerande diskussioner, och Centrum för Universitetslärarutbildning för möjligheten att genomföra projektet.

/Christine Ericsdotter, 160531

 

Vidare läsning

Altieri, C. (2011). Assessment in literary education. In Heiland, Donna, & Rosenthal, Laura J. (Ed.), Literary study, measurement, and the sublime: Disciplinary assessment (pp. 171-180) Teagle Foundation (NJ1).

Bachman, L. F. & Palmer, A. (2010). Language Assessment in Practice. Oxford: Oxford University Press.

Council of Europe. (2001), Common European Framework of Reference for Languages: Learning, teaching, assessment. Cambridge, UK: Cambridge University Press.

Gipps, C. (1999). Socio-Cultural Aspects of Assessment. Review of Research in Education 24, 355-392. 

Hattie, J & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.

Moss, P., Girard, B., & Haniford, L. (2006), Validity in educational assessment. Review of Research in Education, 30, 109–162.

Taras, M. (2005). Assessment – Summative and Formative – Some Theoretical Reflections. British Journal of Educational Studies 53(4), 466-478.