Überprüfung und Anwendung von Multilevel-Messmodellen für Fragebögen zur Lehrveranstaltungsevaluation

Die Lehrveranstaltungsevaluation (LVE) ist ein probates und oft eingesetztes Mittel zur Erfassung der Qualität einer Lehrveranstaltung. In erster Linie werden Fragebögen zur LVE als Feedbackinstrument für den Dozenten verwendet, mit dem Ziel, die Lehre zu verbessern. Allerdings wird die psychometrische Qualität der eingesetzten Fragebögen oft angezweifelt. Die vorliegende Arbeit beschäftigt sich mit verschiedenen Herausforderungen, die in Zusammenhang mit der Überprüfung der psychometrischen Qualität stehen. In den ersten beiden Kapiteln dieser Arbeit wird darauf genauer eingegangen und die LVE an der Friedrich-Schiller-Universität Jena vorgestellt. Die anschließende Studie thematisiert die Eignung verschiedener konventioneller konfirmatorischer Faktorenanalysen (CFA) zur Überprüfung der Modellgüte und vergleicht sie mit der Multi-Level-Faktorenanalyse (ML-CFA) unter Verwendung einer Stichprobe mit 183 334 Studentenurteilen. Aus dem Vergleich dieser CFA-Verfahren lässt sich eine klare Empfehlung für die Verwendung der ML-CFA ableiten. Eine weitere Herausforderung bei der Überprüfung der psychometrischen Qualität von LVE-Fragebögen sind Mehrfachevaluationen. Sie entstehen, wenn Studenten mehrere Veranstaltungen evaluieren und damit mehrfach in den Analysestichproben vorkommen. Die Ergebnisse der zweiten Studie verdeutlichen, dass Mehrfachevaluationen einen Einfluss auf die Ergebnisse von CFA haben und dass sich dieser zwischen den verschiedenen CFA-Verfahren unterscheidet. Die ML-CFA, welche nach den Ergebnissen beider Studien am besten zur Überprüfung des Messmodells geeignet ist, wird in der dritten Studie zur Evaluation unterschiedlicher Berichte eingesetzt. Diese Studie zeigt mit Hilfe eines Experiments den Effekt verschiedener Darstellungsformen im Die Lehrveranstaltungsevaluation (LVE) ist ein probates und oft eingesetztes Mittel zur Erfassung der Qualität einer Lehrveranstaltung. In erster Linie werden Fragebögen zur LVE als Feedbackinstrument für den Dozenten verwendet, mit dem Ziel, die Lehre zu verbessern. Allerdings wird die psychometrische Qualität der eingesetzten Fragebögen oft angezweifelt. Die vorliegende Arbeit beschäftigt sich mit verschiedenen Herausforderungen, die in Zusammenhang mit der Überprüfung der psychometrischen Qualität stehen. In den ersten beiden Kapiteln dieser Arbeit wird darauf genauer eingegangen und die LVE an der Friedrich-Schiller-Universität Jena vorgestellt. Die anschließende Studie thematisiert die Eignung verschiedener konventioneller konfirmatorischer Faktorenanalysen (CFA) zur Überprüfung der Modellgüte und vergleicht sie mit der Multi-Level-Faktorenanalyse (ML-CFA) unter Verwendung einer Stichprobe mit 183 334 Studentenurteilen. Aus dem Vergleich dieser CFA-Verfahren lässt sich eine klare Empfehlung für die Verwendung der ML-CFA ableiten. Eine weitere Herausforderung bei der Überprüfung der psychometrischen Qualität von LVE-Fragebögen sind Mehrfachevaluationen. Sie entstehen, wenn Studenten mehrere Veranstaltungen evaluieren und damit mehrfach in den Analysestichproben vorkommen. Die Ergebnisse der zweiten Studie verdeutlichen, dass Mehrfachevaluationen einen Einfluss auf die Ergebnisse von CFA haben und dass sich dieser zwischen den verschiedenen CFA-Verfahren unterscheidet. Die ML-CFA, welche nach den Ergebnissen beider Studien am besten zur Überprüfung des Messmodells geeignet ist, wird in der dritten Studie zur Evaluation unterschiedlicher Berichte eingesetzt. Diese Studie zeigt mit Hilfe eines Experiments den Effekt verschiedener Darstellungsformen im Ergebnisbericht auf die Qualität der Lehrveranstaltung. Die Arbeit schließt mit einer Diskussion der Ergebnisse aller drei Studien ab und verdeutlicht die empirischen Belege für die Nützlichkeit der LVE als Feedbackinstrument. Darüber hinaus wird die Bedeutung der Methode und der Analysestichprobe unterstrichen, die für die Überprüfung der psychometrischen Qualität von LVE-Fragebögen eingesetzt werden.