Das Prüfungsensemble

Beim Schreiben von Multiple-Choice Prüfungen bedarf es nicht nur auf Seiten des Prüflings ausreichende Vorbereitung, sondern ebenso ein Hand-in-Hand-arbeitendes Prüfungsteam, welches die Prozessorganisation und- begleitung sicherstellt.

Die Ouvertüre einer jeden Prüfung fußt auf den Prüfungsanmeldungen, die vom Sekretariat in akribischer Genauigkeit in ihrer Vollständigkeit geprüft und registriert werden. Im nächsten Schritt werden die Anmeldungen verarbeitet. Über diesen Prozess bestimmt sich die Anzahl mitschreibender Studenten und damit die Teilnehmerlisten, die Aufteilung auf mehrere Hörsäle unter Beachtung konkurrierender Prüfungstermine sowie die Veröffentlichung dieser Informationen auf entsprechenden Online-Plattformen.

Das Intermezzo stellt den organisatorischen Rahmen der Prüfung. Es erfolgt mitunter die Berechnung der Aufsichten. Parallel hierzu kümmern sich Autoren um die Erstellung von Fragen, welche nach formaler und inhaltlicher Prüfung in einer Datenbank eingepflegt werden. Nun kann mittels der Datenbank ein Testheft erstellt werden,  welches dann als Druckauftrag an die Druckerei geschickt wird. Neben dem Testheft wird ein entsprechender Antwortbogen benötigt, auf welchem die gewählten Antworten markiert werden können. Damit Antwortbogen und Testheft eindeutig zuordenbar sind, werden Klebchen mit einem Barcode erstellt, in welchem Informationen über Klausur und Matrikelnummer enthalten sind. Neben den Testheften, Antwortbögen, Klebchen und Teilnehmerlisten gibt es eine Reihe an Informationsmaterial (Prüfungsleitfaden), welches gedruckt und in versiegelte Prüfungsboxen gepackt wird. Die Boxen werden über ein internes Transportunternehmen auf diverse Hörsäle aufgeteilt wird.

Ohne Prüfling keine Arie. Am Prüfungstag finden sich die Studenten in den Hörsälen ein, identifizieren sich und schreiben die Klausur. Nach der Prüfung haben sie die Möglichkeit Einsprüche schriftlich auf entsprechend vorgefertigten Formularen zu tätigen. Die geschriebenen Prüfungen kommen zurück in die Prüfungsbox und werden versiegelt an das Scanbüro transportiert. Alle Antwortbögen werden gescannt, Teilnehmerlisten werden nach verloren gegangenen Antwortbögen und Zulassungsberechtigung überprüft.

Den Epilog bespielen die Statistiker, welche die Klausur vor- und endauswerten. Bei der Vorauswertung werden statistisch kritische Items identifiziert. Zusammen mit den Einsprüchen der Prüflinge wird im Prüfungsausschuss dann über mögliche Ent- und Umwertungen einzelner Fragen entschieden, welche dann bei der Endauswertung berücksichtigt werden. Die Ergebnisse werden an die entsprechenden Online-Portale weitergeleitet und dort veröffentlicht.

Unterstützt wird dieser gesamte Prozess von unseren studentischen Mitarbeitern, ohne die eine solch komplexe Komposition wohl nicht zu realisieren wäre.

Hinterlasse einen Kommentar

Wenn Antwortbögen verloren gehen…

Auch die akribischste Planung und Organisation kann bei Stift-auf-Papier-Prüfungen nicht vollständig verhindern, dass Antwortbögen verloren gehen.

So geschah es auch bei uns – es waren mehrere Bögen einer Klausur „weg“. In den Testheften (die bei uns getrennt von den Antwortbögen sind) fanden wir die Antwortbögen nicht (und auch sonst nirgends). Auf dem Protokoll des Prüfungsablaufes war kein Zwischenfall vermerkt. Zunächst gingen wir also davon aus, dass Prüflinge die Antwortbögen einfach nicht abgegeben und sich somit einen Testdurchlauf erschlichen hatten (und das „nicht Erschienen“ bei Ergebnisbekanntgabe durch einen Krankenschein legitimieren würden). Weit gefehlt! Alle Prüflinge meldeten sich besorgt.

Was tun? Laut einem Urteil des Verwaltungsgerichtes Koblenz darf eine verloren gegangene Klausur nicht als bestanden gewertet werden (Verwaltungsgericht Koblenz, Aktenzeichen 7 K 619/12.KO vom 26.04.2012). Die Testhefte der Teilnehmer lagen vor. Einige hatten darin gearbeitet und die Antworten markiert, die sie für richtig hielten (und sie später auf die Antwortbögen übertragen). Diesen wurde angeboten, entweder die Klausur zu wiederholen oder die gegebenen Antworten „unbesehen“ zu übernehmen (sie entschieden sich für Letzteres). Andere jedoch hatten die Antworten wohl sofort im Antwortbogen markiert, im Testheft war keine Lösung nachvollziehbar. Sie mussten die Klausur wiederholen. Um eine Studienverzögerung zu verhindern konnten sie zumindest den Termin frei wählen.

,

Hinterlasse einen Kommentar

Bestehen durch Raten

Wie groß ist bei MC-Klausuren die Wahrscheinlichkeit, dass die total Ahnungslosen durch Raten bestehen?

Angenommen der Prüfling (w/m) schreibt eine Klausur mit 60 MC-Fragen. Jede MC- Frage hat 5 Antworten vorgegeben, von denen eine richtig ist. Die Ratewahrscheinlichkeit pro Frage liegt also bei 20 %. Die Bestehensgrenze liegt in dieser Klausur bei 60 %. Wie hoch ist also die Wahrscheinlichkeit, dass der Prüfling 36 Fragen richtig rät?

Mit der Binomialverteilung gerechnet ergibt sich eine Wahrscheinlichkeit von 0,0000000000117 (Excel) bzw. 0,0000000000139 (r) (ohne dass ich dem Unterschied auf den Grund gegangen bin).

Mittels Berechnung* ergibt sich folgende Tabelle:

 Wahrscheinlichkeit, die Anzahl der Fragen richtig zu raten je Anzahl der vorgegebenen Antworten (und sich der daraus ergebenden Ratewahrscheinlichkeit pro Frage)

2

3

4

5

Anzahl Fragen  Benötigte Fragen zum Bestehen (Bestehensgrenze (60%))

0,5

0,33

0,25

0,20

10

6

0,20507813

0,05690190

0,0162220001221

0,005505024000000000

20

12

0,12013435

0,00924873

0,0007516875212

0,000086565924844339

30

18

0,08055309

0,00172070

0,0000398691895

0,000001558123423520

40

24

0,05716365

0,00033880

0,0000022380007

0,000000029681065821

50

30

0,04185915

0,00006884

0,0000001296330

0,000000000583431389

60

36

0,03127046

0,00001427

0,0000000076603

0,000000000011699669

70

42

0,02368570

0,00000300

0,0000000004590

0,000000000000237884

80

48

0,01812373

0,00000064

0,0000000000278

0,000000000000004886

90

54

0,01397600

0,00000014

0,0000000000017

0,000000000000000101

100

60

0,01084387

0,00000003

0,0000000000001

0,000000000000000002

*Gerechnet mit Excel (BINOM.VERT(Erfolge; Versuche; Erfolgswahrscheinlichkeit; Kumuliert=falsch)).
Kontrolle mit r (binom.test(Erfolge, Versuche, Erfolgswahrscheinlichkeit).

Voraussetzung für die Berechnung: Der Prüfling rät bei jeder Frage die Antwort, ihm werde keine Antworten durch versteckte Lösungshinweise „nahegelegt „.

Es ergibt sich daraus, dass eine kleine Prüfung (10 Fragen) im Richtig/Falsch-Format (was eine Ratewahrscheinlichkeit von 50 % bedeutet) immerhin mit 20 %iger Wahrscheinlichkeit bestanden wird. Die gleiche Prüfung (10 Fragen), bei der jedoch jeweils 5 Antwortmöglichkeiten vorgegeben werden, wird nur noch mit einer 0,5  %iger Wahrscheinlichkeit Eine Klausur mit 60 Fragen zu je 5 Antworten zufällig zu bestehen ist scheinbar sehr, sehr, sehr, sehr unwahrscheinlich. Zum Vergleich, die Gewinnwahrscheinlichkeit beim Lotto liegt bei 0,00000000715.

, ,

Hinterlasse einen Kommentar

Worum geht es hier?

Hier geht es um kleinere und größere Aspekte von Prüfungen.

Es geht auch darum, was bei Prüfungen schon mal schief gelaufen ist (und wie die Beteiligten reagiert haben).

Vorrangig werden wir uns mit den Formaten MC (multiple choice) und OSCE (objective structured clinical examination) befassen.

, ,

Hinterlasse einen Kommentar