Open Access

Katja Keller

• Seit ca. 1973 werden die schriftlichen Staatsexamina in Deutschland in Anlehnung an das amerikanische Prüfungssystem mit Einfachauswahlfragen (auch als MC-Fragen bezeichnet) durchgeführt. Dieser Fragentypus hat sich auch für universitäre Prüfungen durchgesetzt, trotz ungeklärter Validität und Eignung dieses Fragentyps. Das Ziel dieser Arbeit bestand darin, den Einfluss von Formatunterschieden bei inhaltlich identischen Fragen auf das Prüfungsergebnis aufzuzeigen Hierzu wurden klassische MC-Fragen mit Freitextfragen sowie mit Mehrfachauswahlfragen verglichen. Es wurden fachspezifische Klausuren während der Übergangszeit von der 8. ÄAppO von 1989 auf die jetzt gültige 9. ÄAppO von 2002 so konstruiert, dass inhaltsidentische Fragen in einer Version als MC-Fragen, in der anderen Version in anderem Format gestellt wurden; jeweils eine Hälfte der teilnehmenden Studierenden diente als Kontrollgruppe für die Fragestellung in anderem Format. Ausgewertet wurden 11 Klausuren mit jeweils 15 MC-Fragen und 15 alternativen Fragen im Zeitraum SS 2004 bis WS 2004/2005 in den Fächern Augenheilkunde, Dermatologie, Orthopädie, Psychiatrie, Rechtsmedizin und Urologie, mit insgesamt 1219 teilnehmenden Studenten. MC-Fragen (55%) wurden im Mittel häufiger korrekt beantwortet als AW-Fragen (25%) und FT-Fragen (33%). Wenn bei Auswahlfragen Studierende mit vier von fünf zutreffenden Entscheidungen ebenfalls einbezogen werden, kommen etwa 52% der Studierenden auf „richtige“ Antworten. Insbesondere bei Freitextfragen gab es große fragenspezifische Unterschiede, in einigen Fällen wurden Freitextfragen häufiger zutreffend beantwortet als inhaltsidentische MC-Fragen. Diese Unterschiede legen nahe, dass aktives Wissen mit MC-Fragen nicht prüfbar ist. Teilwissen konnte mit Fragen in den klassischen MC-Formaten nicht ermittelt werden. Wie exemplarisch in dieser Arbeit gezeigt wird, werden bei Fragen im MCFormat für die Entscheidung richtig/falsch nicht alle Aussagen berücksichtigt. Ergebnisse aus MC-basierten Prüfungen ergeben einen deutlich höheren Anteil richtiger Antworten, als dem aktuellen Wissen entspricht; häufig scheint die Entscheidung zwischen zwei Alternativen geraten zu werden. Bei einer Umformulierung in Freitextfragen ergeben sich häufig größere fragenspezifische Differenzen, die suggerieren, dass mit MC-Fragen aktives Wissen nicht prüfbar ist. Die vorliegenden Untersuchungen begründen Zweifel an der Eignung von ausschließlich MC-basierten Prüfungen für die Prüfung höherer Wissensebenen, eine Validität MC-basierter Prüfungen für klinisches Alltags- und Basiswissen scheint nicht gegeben zu sein.
• Since about 1973 written state examinations in Germany are performed in alignment with the American examination system with forced choice questions. This type of question also has reached dominance in examinations in universities, although validity and suitability of this question type remain unclear. The aim of this work was to investigate the influence of differences in format for identical question content on the exam result. For this reason, classical forced choice questions were compared to key feature questions and with multiple choice questions. Subject specific examinations during the transition phase from 8th ÄAppO of 1989 to the presently valid 9th ÄAppO of 2002 were constructed in such a manner, that questions identical in content were presented in two different versions. Half of the students formed the control group for the questions in the other format. Included were 11 examinations with 15 MC questions each and 15 alternative questions in the time frame from SS 2004 to WS 2004/2005 in the subjects ophthalmology, dermatology, orthopaedics, psychiatry, legal medicine and urology with a total of 1219 participating students. Forced choice questions (55%) on average were an swered more often correct than multiple choice questions (25%) and key feature questions (33%). When in the case of multiple choice questions students with four of five correct decisions are also included, on average 52% of the students achieved correct answers. Specifically, for key feature questions major content specific differences existed; in some cases key feature questions have been answered correctly more frequently than forced choice questions identical in content. These differences reflect that active knowledge is not testable with forced choice questions. Also, partial knowledge cannot be tested with forced choice questions, whereas both multiple choice and key feature questions detected rudimentary knowledge. Results of forced choice based examinations achieve significantly higher rates of correct answers than testing of the actual knowledge confirms. In many cases the final decision between two alternatives considered as correct is based on guessing. In case of rephrasing a forced choice question into a key feature question there appear to be major content specific differences to forced choice questions. Additionally results from key feature questions suggest that forced choice questions are not amenable to testing active knowledge. The present study defines suitability and limits of forced choice based examinations, using forced choice questions exclusively appears to be no valid examination especially for active knowledge.