Die Unstatistik des Monats Dezember ist die aktuelle PISA-Studie der OECD. Über sie und auch über das im Vergleich zu früheren Studien bessere Abschneiden deutscher Schüler haben fast alle deutschen Medien ausführlich berichtet. So titelte beispielsweise „Spiegel online“ am 3. Dezember „Neue Pisa-Studie: Deutsche Schüler holen auf“. Dabei wurde insbesondere darauf hingewiesen, dass Deutschlands Schüler signifikant besser abschneiden als die durchschnittlichen Schüler in der OECD und dass Deutschland eines der wenigen Länder ist, in denen sich die Leistungen der Schüler in der Mathematik stetig verbessert haben. Darauf wies auch das Bundesministerium für Bildung und Forschung in seiner Pressemitteilung „PISA 2012: Schulische Bildung in Deutschland besser und gerechter“ vom 3. Dezember hin.

Dennoch muss man aus mehreren Gründen vor einer Überinterpretation dieser Zahlen warnen. Zum einen kann man sich grundsätzlich darüber streiten, welche Kompetenzen im Rahmen der PISA-Studie gemessen werden und ob die im Rahmen der Studie durchgeführten Tests bestimmte Lernformen bevorzugen. Zudem ist nur eine kleine Stichprobe deutscher Schüler getestet worden, bei einer anderen Stichprobe wäre etwas anderes herausgekommen. So erreichten die Schüler in der deutschen Stichprobe im Jahr 2012 in der Mathematik 514 Punkte, 11 Punkte mehr als in der letzten Studie 2003. Unter insgesamt 65 untersuchten Ländern belegen sie damit Rang 16. Aber aufgrund des Stichprobenfehlers hätten es auch 508 (Rang 18) oder 520 Punkte (Rang 12) werden können.

Zur Unstatistik des Monats wird die PISA-Studie jedoch, weil in der öffentlichen Diskussion weitgehend ignoriert wird, welchen Einfluss die Zusammensetzung der Stichprobe auf die Ergebnisse der Studie hat. Richtig ist, dass – in der Stichprobe – die Schüler in Deutschland in Mathematik besser abschneiden als der durchschnittliche Schüler in der OECD und dass sich die Mathematikergebnisse im Vergleich zu den Schülern in der Stichprobe des Jahres 2003 verbessert haben. Dabei wird aber außer Acht gelassen, dass sich über die Jahre hinweg die Zusammensetzung der Stichprobe verändert hat. Berücksichtigt man die Unterschiede der befragten Schüler in den verschiedenen Stichproben hinsichtlich beispielsweise des Alters, des Geschlechts, des sozio-ökonomischen Hintergrunds und des Migrationshintergrunds, haben sich die Leistungen der Schüler in Deutschland seit 2003 nicht signifikant verändert (siehe Abbildung I.2.19 des PISA-Berichts). Es kann also durchaus sein, dass die in Deutschland gemessenen Verbesserungen nicht auf Verbesserungen im Schulsystem, sondern auf eine veränderte Struktur der befragten Schüler zurückzuführen sind.

Zuerst erschienen auf unstatistik.de