Schulqualität jenseits von PISA

Von Heiner Barz, September 2015

Spätestens seitdem Hunderte von Bildungsexperten im Jahr 2014 ihren offenen Brief an Andreas Schleicher geschrieben haben, ist PISA ein entzauberter Mythos.

Hans Brügelmann ist ein deutscher Bildungsforscher, der sich seit vielen Jahren immer wieder kritisch zu dem Anspruch und vor allem auch zu den Auswirkungen der PISA-Studien geäußert hat. Nun hat er, mittlerweile im Ruhestand, seine in verschiedensten Fachorganen publizierten, gründlich recherchierten und weit ausholenden Aufsätze zu »PISA & Co« zusammengetragen und als Buch veröffentlicht.

Unter den PISA-Kritikern ist Brügelmann sicher derjenige, der die profundesten Kenntnisse sowohl hinsichtlich der Forschungsmethoden als auch in Bezug auf den Unterrichtsalltag in deutschen Schulen hat. Und einer, der die PISA-Methodik nie in Bausch und Bogen ablehnt oder gar verteufelt – sondern immer um ein ausgewogenes faires Urteil ringt.

»Warum wir PISA & Co brauchen, die Ergebnisse aber nur mit Vorsicht nutzen sollten«, diese Zwischenüberschrift ist sozusagen Brügelmanns Credo. Angesichts der Tatsache, dass PISA-artige Testprogramme sich heute wie eine Seuche über das Bildungssystem ausgebreitet haben und die PISA-Ergebnisse als sakrosankte Maßstäbe für Schule und Unterricht schlechthin gelten, liegt es auf der Hand, dass Brügelmanns Hinweise auf Grenzen, Missverständnisse und Fehldeutungen deutlich mehr Raum einnehmen als die Bilanz des Nutzens.

Dass Brügelmann dabei oft auch relativ weit ausholen muss, ist unvermeidlich. So mutet er dem Leser immer wieder wissenschaftstheoretische Exkurse zu Fragen der Forschungsmethoden zu oder zum beliebten Missverständnis, dass Korrelation schon Kausalität bedeute. Er diskutiert alternative Verfahren zur Beurteilung von Schulqualität – z.B. solche der qualitativen Forschung, der Selbstevaluation oder des systematischen Austausches der Praktiker untereinander. Statistische Signifikanz und ökologische Validität, Probleme der Mittelwerte oder der Meta-Studien … kaum ein Problem der elaborierten Bildungsforschung seit der Jahrtausendwende wird hier nicht seziert und auf seine schulpraktische Bedeutsamkeit hin abgeklopft.

Damit sind auch schon die Stärken und Schwächen dieses Buches angedeutet: Das Buch eignet sich durch den immer wieder hergestellten Bezug zur schulischen Praxis sicher sehr gut für die Hochschullehre insbesondere für Methodenkurse und Bildungsforschungsstudiengänge. Dass neben PISA, VerA, IGLU & Co gleich noch ein weiterer Hype der Bildungsforschung, nämlich John Hatties »heiliger Gral der Didaktik« (so die Londoner Times über »Visible Learning«) mit guten Argumenten entzaubert wird, ist sozusagen der »Bonus-Track« für geduldige Leser. Für pädagogische Praktiker, die schon immer mal genauer wissen wollten, warum sie PISA nicht leiden können, dürfte die forschungsmethodische Oberseminarlektüre eher anstrengend sein. Wirklich ans Herz legen möchte man Brügelmanns Thesen indessen denjenigen unter den Bildungspolitikern, die immer noch an PISA glauben.

Siehe auch: Wider die Bildungsdiktatur durch PISA

Zitate aus dem Buch:

Die Scheingenauigkeit standardisierter Testinstrumente

»Es muss nachdenklich stimmen, dass die USA bei internationalen Vergleichen der Leseleistung in den letzten 15 Jahren auf vorderen, auf mittleren und auf hinteren Plätzen gelandet sind. […]

Ähnlich verwirrend ist das Bild innerhalb Deutschlands, wenn man sich anschaut, welchen Teilgruppen mangelnde Lesefähigkeit attestiert wird. Selbst wenn man nur die internationalen Lesestudien von 1991 bis 2001 betrachtet, werden in den verschiedenen Auswertungen als ›Risikogruppe‹ zwischen 2 Prozent und 25 Prozent der einbezogenen Jahrgänge benannt.« (S. 82)

Hattie-Ranking als fauler Zauber

»Wie kompliziert das Bild tatsächlich ist, zeigen beispielhaft die Werte zum Faktor ›Computereinsatz‹ im Unterricht. Mit einer durchschnittlichen Effektstärke von .39 ist sein Einfluss als mäßig positiv einzuschätzen. Wenn die Lernschritte durch das Programm vorgegeben werden, verschwindet der Effekt sogar ganz (-.02). Andererseits steigt er, wenn die Schüler das Vorgehen im Programm selbst steuern konnten auf .49, und wenn sie mit einem Partner arbeiteten sogar auf .96.

Damit deutet sich […] an, dass nicht die Mittelwerte das eigentlich interessante Datum sind, sondern eher die Extremwerte und damit die Streuung. Diese verweisen darauf, dass es auf die Art des Computereinsatzes und auf die Bedingungen seiner Nutzung ankommt, ob er didaktisch produktiv wird oder nicht. Was aber nützt dann der Lehrperson das Wissen um einen Mittelwert von 0.39, wenn sie eine Form des Computereinsatzes wählt, die einen Wert von 0.0 erzielt? Während Hattie Abweichungen vom Mittelwert sozusagen als Messfehler betrachtet, verweisen sie für Pädagogen vor Ort auf den Einfluss bedeutsamer Drittfaktoren.« (S. 67)

Hans Brügelmann: Vermessene Schulen – standardisierte Schüler. Zu Risiken und Nebenwirkungen von PISA, Hattie, VerA und Co., kart., 143 S., EUR 19,95, Beltz Verlag, Weinheim 2015

Folgen