Ergebnisanalyse

Moodle kann nicht nur den Studierenden, sondern auch den Referent*innen ausführliche Informationen zum Test und den individuellen Testergebnissen liefern. Sie finden die Übersicht über die Ergebnisse nach einem Klick auf den Testnamen unter Einstellungen >> Test-Administration >> Ergebnisse (s. Abbildung 28, 1).

Bewertungen

Die Seite mit Bewertungen gibt Aufschluss über die Ergebnisse der Studierenden. Dabei werden in der Standardeinstellung die Versuchsdauer und die erzielten Ergebnisse für jede Frage individuell angezeigt. Sie können die Anzeige filtern ( Abbildunjg 28, 2), Neubwertungen vornehmen (3) und die Ergebnisse zur weiteren Verarbeitung u.a. als Excell oder CSV Datei exportieren (4).

Abbildung 28: Testergebnisse im Überblick

Statistik

Die Teststatistik enthält alle Informationen zu einem Test und den darin enthaltenen Fragen. Er gliedert sich in drei Teilabschnitte:

• Test_information
• Test-Strukturanalyse
• Statistik für Fragepositionen

Test-Information:

Die Test Informaiton (Abbildung 29) enthält zusammenfassende deskriptive Angaben zum Test sowie allgemeine Informationen, wie etwa die Testbezeichnung (Test-Name).Abbildung 29: Test-Information

Wichtige Werte für QS Maßnahmen:

Schiefe der Punkteverteilung

Sie zeigt an wie weit die Verteilung der erzielten Testergebnisse nach rechts oder nach links geneigt ist. Im Allgemeinen wird ein Wert bis -1,0 empfohlen. Ein noch kleinerer Wert kann auf eine mangelnde Unterscheidung bei Studierenden hindeuten, die überdurchschnittlich gut abschneiden. Ein Wert über 1 kann eine zu geringe Trennschärfe im Bereich Nicht Genügend - Genügend kennzeichnen.

Koeffizienz interner Konsistenz (Crombachs Alpha)

Der Wert beschreibt das Ausmaß, in dem die Aufgaben bzw. Fragen des Tests miteinander in Beziehung stehen. Es sagt jedoch nichts über die Punktevergabe und -gewichtung im Test aus.

Ein Wert über 75% ist zufriedenstellend. Unter 65% sollte der Test geprüft werden. Die Gründe für einen niedrigen Wert beinhalten:

• Es wird stellenweise nicht oder nur unzureichend zwischen guten und schlechten Studierenden unterschieden. UND
• Die Unterschiede im erzielten Testergebnis sind zu einem Großteil zufällig.

ODER

• Einige Testfragen prüfen voneinander unabhängige Qualitäten UND
• Diese Qualitäten korrelieren nicht miteinander.

Fehlerquotient

Der Fehlerquoitient gibt das Verhältnis zwischen zufälligen und leistungsbedingten Unterschieden in den Bewertungen an. Der Wert sollte möglichst niedrig gehalten werden. Ein Wert über 50% bedeutet, dass mindestens die Hälfte der Standardabweichung auf den Zufall zurückzuführen ist und nicht auf Leistungsunterschiede.

Standardfehler

Dieser Wert wird vom Fehlerquotienten abgeleitet und ist ein Maß dafür, wie viel zufällige Abweichung in jeder einzelnen Testbewertung steckt. Wenn z.B. der Standardfehler 10% beträgt und eine Person im Test 60% erreicht hat, liegt der tatsächliche Wissenstand der Person zwischen 50% und 70%.

Test-Strukturanalyse

Die statistische Auswertung der Testfragen wird in der Test-Strukturanalyse tabellarisch zusammengefasst (Abbildung 30)

Abbildung 30: Test-Strukturanalyse

Wichtige Werte für QS Maßnahmen

Leichtigkeitsindex

Er gibt den Anteil der im Durchschnitt erzielten Punkte im Verhältnis zum bestmöglichen Wert für die jeweilige Frage an. Je höher der Wert, desto leichter ist sie für die aktuelle Kohorte. Der Wert sollte 35% nicht unterschreiten und 65% nicht übertreffen. Außerhalb dieses Wertebereiches gilt die Frage als zunehmend zu schwer bzw. zu leicht. Der Zielwert weicht jedoch in einem formativen Szenario durchaus von dem einer abschließender Prüfung ab.

Beabsichtigte Gewichtung und Effektive Gewichtung

Die zwei Werte sollten sich möglichst decken. Erster gibt den Anteil der Frage an der maximal erreichbaren Punktezahl für den Test an, die effektive Gewischtung zeigt die tatsächliche Relevanz der Frage für die Varian der Testergebnisse an. Ist der Wert effektiven Gewichtung deutlich höher, als beabsichtigt, hat die Frage einen größeren Einfluss auf das Testergebnis, als beabsichtigt.

Discrimination Index

Der Discrimination Index zeigt die Korrelation zwischen der erzielten Punkte für die Frage und dem Gesamtergebnis an. Er gibt Auskunft darüber, wie effektiv die Frage die wissenden von den nicht-wissenden Studierenden unterscheidet.

Ein Wert über 50% gilt als sehr gut, über 30% ist die Frage noch ausreichend. Bei einem zu niedrigen Wert wird die Frage automatisch rot markiert und sollte geprüft werden. In diesem Fall beantworten die Studierenden die Frage richtig, die beim Test schlecht abschneiden und umgekehrt.

Unterscheidungseffizienz

Dieser Wert gibt eine Einschätzung darüber, wie gut der Discrimination Index im Bezug auf die Schwierigkeit der Frage ist. Ach hier sind Werte über 50% erstrebenswert. Niedrigere Werte deuten an, dass die Frage nicht gut zwischen den Studierenden unterscheidet.

Statistik für Fragepositionen

Diese Zusammenfassung zeigt zu jeder einzelnen Frageposition den Leichtigkeitsindex und die Uterscheidungseffizienz.

Abbildung 31: Das Verhältnis Leichtigkeitsindex und Unterscheidungskoeffizienz