Refine
Document Type
- Article (5)
- Doctoral Thesis (1)
Has Fulltext
- yes (6) (remove)
Is part of the Bibliography
- no (6)
Keywords
- OSCE (6) (remove)
Institute
Background: Feedback is an essential element of learning. Despite this, students complain about receiving too little feedback in medical examinations, e.g., in an objective structured clinical examination (OSCE). This study aims to implement a written structured feedback tool for use in OSCEs and to analyse the attitudes of students and examiners towards this kind of feedback.
Methods: The participants were OSCE examiners and third-year medical students. This prospective study was conducted using a multistage design. In the first step, an unstructured interrogation of the examiners formed the basis for developing a feedback tool, which was evaluated and then adopted in the next steps.
Results: In total, 351 students and 51 examiners participated in this study. A baseline was created for each category of OSCE station and was supplemented with station-specific items. Each of these items was rated on a three-point scale. In addition to the preformulated answer options, each domain had space for individual comments.
A total of 87.5% of the students and 91.6% of the examiners agreed or rather agreed that written feedback should continue to be used in upcoming OSCEs.
Conclusion: The implementation of structured, written feedback in a curricular, summative examination is possible, and examiners and students would like the feedback to be constant.
Einleitung: Die Intention dieser Arbeit war es zu evaluieren, ob das Prüfungsformat eines OSPE (Objective Structured Practical Examination), durchgeführt im Fach Zahnerhaltungskunde (6. Fachsemester), Aussagen über den Studienerfolg im praktischen Teil des Staatsexamens (11. Fachsemester) im selben Fach zu treffen erlaubt. Ferner sollte unter Berücksichtigung allgemeiner Angaben der StudienteilnehmerInnen (Abitursnote, Physikumsnote, Studiendauer, Kohorte und Geschlecht) analysiert werden, ob bezüglich der Gesamt- sowie Teilnoten des OSPE und der Staatsexamensprüfung im Fach Zahnerhaltungskunde Zusammenhänge oder Unterschiede bestehen.
Methoden: Im Rahmen dieser longitudinalen, retrospektiven Studie wurden über einen Zeitraum von 11 Semestern prüfungsbezogene Daten von Studierenden (N = 223) des Fachbereichs Zahnmedizin in Frankfurt am Main erhoben und untersucht. Ferner wurden persönliche Angaben der Studienteilnehmer zu Alter, Geschlecht, Abitursnote, Physikumsnote und Studiendauer evaluiert sowie eine Zuordnung zu Kohorten vorgenommen. Für die statistische Auswertung der Daten wurden Spearman Rangkorrelationen, Partialkorrelationen, Korrelationskoeffizienten nach Pearson, und Multiple Regressionen (SPSS Statistics 21, IBM Corporation, New York) berechnet.
Ergebnisse: Die Ergebnisse zeigen, dass die Durchführung einer OSPE (Cronbachs α = .87) mit dem Erfolg im praktischen Teil des Staatsexamens im Fach Zahnerhaltungskunde korreliert (p = .01, r = .17). Als eine weitere signifikante Korrelation mit der Examensleistung erwies sich die Dauer des Studiums (p = .001, r = .23). Gemeinsam vermögen diese beiden Variablen einen signifikanten Beitrag zur Vorhersage der Examensnote (p = .001, R2 = .076) zu leisten. Das zeigte sich im größeren Umfang bei weiblichen Studierenden. Zudem wurde festgestellt, dass diese bessere Abitursnoten als männliche Studierende aufweisen (F = 6.09, p = .01, η² = .027) und dass es nur bei männlichen Studierenden eine signifikante Korrelation zwischen der Physikumsnote (Zahnärztliche Vorprüfung) und der OSPE-Benotung gab (r = .17, p = .01).
Schlussfolgerung: In der vorliegenden Untersuchung konnte der prädiktive Effekt eines durchgeführten klinischen OSPE auf die Prüfungsleistung im Staatsexamen nachgewiesen werden. Unter Berücksichtigung der Limitation der Studie empfiehlt sich aus unserer Sicht die Durchführung eines solchen Prüfungsformats im Rahmen des klinischen Studienabschnitts im 6. Semester im Fach Zahnmedizin.
Einleitung: Ziel dieser Studie war es zu evaluieren, ob das Prüfungsformat einer OSPE (Objective Structured Practical Examination) durchgeführt im Fach Zahnerhaltungskunde (6. Fachsemester) den Studienerfolg im praktischen Teil des Staatsexamens (11. Fachsemester) im selben Fach prädiziert. Ferner sollte unter Berücksichtigung allgemeiner Angaben der StudienteilnehmerInnen (Abitursnote, Physikumsnote, Studiendauer, Kohorte und Geschlecht) analysiert werden, ob bezüglich der Gesamt- sowie Teilnoten der OSPE und der adäquaten Staatsexamensprüfung Zusammenhänge oder Unterschiede bestehen.
Methoden: Im Rahmen dieser longitudinalen, retrospektiven Studie wurden für einen Zeitraum von 11 Semestern prüfungsbezogene Daten von Studierenden (N=223) des Fachbereichs Zahnmedizin in Frankfurt am Main erhoben und untersucht. Für die statistische Auswertung der Daten wurden Spearman Rangkorrelationen, Partialkorrelationen, Korrelationskoeffizienten nach Pearson, und Multiple Regressionen (SPSS Statistics 21, IBM Corporation, New York) berechnet.
Ergebnisse: Die Ergebnisse zeigen, dass OSPE (Cronbachs α=.87) mit dem Erfolg im praktischen Teil des Staatsexamens im Fach Zahnerhaltungskunde korreliert (p=.01, r=.17). Als eine weitere signifikante Korrelation mit der Examensleistung erwies sich die Dauer des Studiums (p=.001, r=.23). Gemeinsam leisten diese beiden Variablen einen signifikanten Beitrag zur Vorhersage der Examensnote (p=.001, R2=.076). Das zeigte sich im größeren Umfang bei weiblichen Studierenden. Zudem wurde festgestellt, dass diese bessere Abiturnoten als männliche Studierende aufweisen (F=6.09, p=.01, η2=.027) und dass es lediglich bei männlichen Studierenden eine signifikante Korrelation zwischen der Physikumsnote (Zahnärztliche Vorprüfung) und der OSPE-Benotung gab (r=.17, p=.01).
Schlussfolgerung: In der vorliegenden Untersuchung konnte der prädiktive Effekt einer klinischen OSPE auf die Prüfungsleistung im Staatsexamen gezeigt werden. Unter Berücksichtigung der Limitation der Studie empfiehlt sich aus unserer Sicht die Durchführung eines solchen Prüfungsformats im Rahmen des klinischen Studienabschnitts im 6. Semester im Fach Zahnmedizin.
Introduction: The aim of this study was to ascertain whether the testing format of an OSPE (Objective Structured Practical Examination) in conservative dentistry (sixth semester) predicts the scores on the practical section of the state examination (11th semester) in the same subject. Taking general student profiles into consideration (score on the school-leaving exam [Abitur], score on the preliminary exam in dental medicine [Physikum], length of university study, cohorts, and sex), we also investigated if any correlations or differences exist in regard to the total and partial scores on the OSPE and the corresponding state examination.
Methods: Within the scope of this longitudinal retrospective study, exam-specific data spanning 11 semesters for dental students (N=223) in Frankfurt am Main were collected and analyzed. Statistical analysis was carried out by calculating Spearman rank correlations, partial correlations, Pearson’s correlation coefficients, and multiple regressions (SPSS Statistics 21, IBM Corporation, New York).
Results: The results show that the OSPE (Cronbach’s α=.87) correlates with level of success on the practical section of the state exam in conservative dentistry (p=.01, r=.17). Length of university study also emerged to correlate significantly with the state exam score (p=.001, r=.23). Together, these two variables contribute significantly to predicting the state exam score (p=.001, R2=.076). This was seen extensively among female students. It was also discovered that these female students had higher school-leaving exam scores than male students (F=6.09, p=.01, η2=.027), and that a significant correlation between scores on the Physikum (preliminary exam in dental medicine) and OSPE scores existed only for male students (r=.17, p=.01).
Conclusion: This study was able to demonstrate the predictive effect of a clinical OSPE regarding scores achieved on the state exam. Taking the limitations of this study into account, we are able to recommend using the OSPE testing format in the sixth semester during the clinical phase of dental study.
Background: The Objective Structured Clinical Examination (OSCE) is increasingly used at medical schools to assess practical competencies. To compare the outcomes of students at different medical schools, we introduced standardized OSCE stations with identical checklists.
Methods: We investigated examiner bias at standardized OSCE stations for knee- and shoulder-joint examinations, which were implemented into the surgical OSCE at five different medical schools. The checklists for the assessment consisted of part A for knowledge and performance of the skill and part B for communication and interaction with the patient. At each medical faculty, one reference examiner also scored independently to the local examiner. The scores from both examiners were compared and analysed for inter-rater reliability and correlation with the level of clinical experience. Possible gender bias was also evaluated.
Results: In part A of the checklist, local examiners graded students higher compared to the reference examiner; in part B of the checklist, there was no trend to the findings. The inter-rater reliability was weak, and the scoring correlated only weakly with the examiner’s level of experience. Female examiners rated generally higher, but male examiners scored significantly higher if the examinee was female.
Conclusions: These findings of examiner effects, even in standardized situations, may influence outcome even when students perform equally well. Examiners need to be made aware of these biases prior to examining.
Background: Establishing a strong link early on between preclinical coursework and the clinical context is necessary for students to be able to recognize the practical relevance of the curriculum during their preclinical anatomical courses and to transfer knowledge more easily. Our objective was to enhance the clinical relevance of a preclinical anatomy course for second-year medical students of dentistry by implementing an interdisciplinary skills training course on "Palpation of the Head and Neck Muscles" and to measure the learning outcomes.
Methods: For the curricular development of the expanded course module, Kern’s 6-step approach was applied including subjective evaluation. We used a peer-teaching format supported by an e-learning application. A randomized control study measured effects of the two components (skills training, e-module) on learning outcomes. Four learning methods were compared: (1) lecture, (2) lecture + e-module, (3) lecture + skills training, (4) lecture + skills training + e-module. An objective structured clinical examination (OSCE) was used to measure and compare learning outcomes.
Results: The two-way variance analysis demonstrated that participation in the skills training had a statistically significant effect on the OSCE results (p = 0.0007). Students who participated in the skills training did better (φ 107.4 ± 14.4 points) than students who only attended the lecture (φ 88.8 ± 26.2 points). Students who used the e-module but did not attend the skills training earned a slightly but not significantly higher average number of points (φ 91.8 ± 31.3 points) than those who only attended the lecture. The learning outcomes of the skills training were again significantly increased when the training was combined with the e-module (φ 121.8 ± 21.8 points), thus making it the ideal method for achieving the learning objectives defined in this study.
Conclusions: The "Palpation of the Head and Neck Muscles" interdisciplinary skills training course linking basic anatomical knowledge and clinical skills led to clearly improved learning outcomes for both, anatomical knowledge and clinical skills. The additional use of an e-learning tool (e-module) improved the learning effect.