Sinn und Unsinn der PISA-Studie

Die Kultusministerkonferenz ­knüpfte 2001 hohe Erwartungen an PISA (Programme for International Student Assessment): Die Ergebnisse der vergleichenden Schulleistungsstudien sollten eine Orientierung über Stärken und Schwächen des Bildungssystems im nationalen oder internationalen Vergleich und Anstöße für konkretes schulpolitisches Handeln wie auch für die Bildungspraxis in den Schulen geben. Man erhoffte sich, Probleme im Bildungssystem aufzudecken und Ansätze für „begründete Interventionen“, also Maßnahmen, die auch tatsächlich an deren Ursachen anknüpfen, zu finden.
Diese Ziele waren offensichtlich zu hoch gesteckt. Zum einen haben die „PISA-Macher“ selbst immer wieder darauf hingewiesen, dass kausale Zusammenhänge nicht nolens volens aus den Ergebnissen abgeleitet werden könnten. Zum anderen gerieten die Ergebnisse, wenig überraschend, schnell in die Mühlen der bildungspolitischen Diskussionen und wurden entsprechend unterschiedlich interpretiert. Und zum dritten haben vor allem PISA-Skeptiker*innen (vgl. Beitrag von Georg Lind) ganz grundsätzlich bestritten, dass die Testmethode und die Anlage der Studie geeignet seien, um brauchbare Ergebnisse zu generieren.

Ungeachtet dieser Debatten kann man PISA attestieren, dass bildungspolitische Themen wie kaum jemals zuvor auf die politische Agenda gesetzt wurden, und das bis zum heutigen Tag.

Die von PISA angewandte Betrachtung der „Kontextbedingungen von Lernleistungen“ war nicht neu. Dennoch machte vor allem der Aspekt „Bildungsgerechtigkeit“ einen Gutteil des vielzitierten PISA-Schocks aus: Um Lernleistungen und Testergebnisse bewerten zu können, muss man Faktoren wie Geschlecht, Migrationserfahrung und soziales Umfeld in Beziehung setzen. Ergebnis: In Deutschland gelingt es gerade auch im Vergleich zu anderen Ländern viel zu wenig, Kinder und Jugendliche unabhängig von ihren familiären Bedingungen gut zu fördern. Das meines Erachtens aber stärkste Ergebnis von PISA ist: Schulsysteme können so gestaltet sein, dass hervorragende Leistungen auch bei Bildungsgerechtigkeit möglich sind Und: Kaum eine Aussage in den internationalen PISA-Studien ist eindeutiger als diese: Das gegliederte Schulsystem verhindert grundlegende Verbesserungen dieses Zusammenhangs.

Vielfach kritisiert wurde das „literacy“-Konzept, auf dem die Aufgaben der Tests basieren. Damit soll herausgefunden werden, ob die Schülerinnen und Schüler das „Erlernte abstrahieren und ihr Wissen auf neue Situationen anwenden können (Andreas Schleicher, www.youtube.com/watch) Auf die Kritik, dass die Schüler*innen damit vor Aufgaben gestellt seien, die sie aufgrund abweichender Bildungspläne noch nicht kennen konnten, antwortete Schleicher: „Die wahre Prüfung im Leben besteht nicht darin, ob wir uns an den Schulstoff erinnern, sondern ob wir bereit sind für Veränderungen, ob wir bereit sind für Jobs, die noch nicht existieren, bereit, Technologien zu verwenden, die noch nicht erfunden sind und Probleme zu lösen, die wir heute noch nicht ahnen können.“ (ebenda). Damit war die Kontroverse um den Bildungsbegriff, wieder einmal, eröffnet.

Inzwischen ist es um die PISA-Studien merklich ruhiger geworden. Bildungspolitische Diskussionen werden aber nach wie vor heftig geführt. Dass Bildung und Erziehung heute einen großen Stellenwert besitzen, dass wir über unsere Bundesländergrenzen hinaus blicken und die im Bildungsbereich Beschäftigten mit ihren Anliegen stärker ernst genommen werden als noch vor 20 Jahren, kann durchaus auch als Folge der PISA-Studien gesehen werden.

b&w hat drei Bildungsexperten um ihre Einschätzung gebeten

Dr. Hartmut Markert, GEW Baden-Württemberg
Ich habe die Eigenschaften und Wirkungen von PISA von Anfang an mit zwiespältigen Einschätzungen und Bewertungen aufgenommen.

PISA hat zweifellos die deutsche Gesellschaft aus ihrer schulpolitischen Selbstgefälligkeit herausgerissen.

Zugleich hat PISA freilich auch die Aufmerksamkeit für Schulqualität vor allem auf ein Länderranking von Testergebnissen fokussiert, ohne für deren komplexe Einbettung in die jeweiligen, nicht vergleichbaren soziokulturellen und schulischen Rahmenbedingungen zu sensibilisieren.

PISA hat den Eintritt in eine Epoche der evidenzbasierten Schulentwicklung auf allen Ebenen vorangetrieben und zugleich massiv dazu beigetragen, Schulqualität auf tatsächliche oder vermeintlich prioritäre Kompetenzbereiche und auf einen testbaren Output zu verengen.

Es ist ein nicht zu unterschätzendes Verdienst von PISA, den engen und besorgniserregenden Zusammenhang von sozialer Herkunft und Bildungschancen gerade hierzulande in Erinnerung gerufen zu haben und einen auch politisch anerkannten Bezugsrahmen für einen traditionell sozialwissenschaftlich nahezu blinden Bildungsdiskurs abgegeben zu haben. Zugleich ist es auch trotz der Ergebnisse von PISA und trotz der Ländervergleiche nicht gelungen, die Hegemonie politisch und kulturell privilegierter Interessen in der Verteidigung der überkommenen, exkludierenden Schulstrukturen zu durchbrechen. Die Grundschulreform der Weimarer Republik war die letzte gelungene, großformatige Schulstrukturreform.

Die Ergebnisse von PISA haben rückblickend wenig dazu beitragen können, die Dringlichkeit und die Effektivität empfehlenswerter bildungspolitischer Strategien plausibel zu machen. Naheliegenden und für den Abbau von Bildungsbenachteiligung vielversprechenden Handlungsfeldern wie der frühkindlichen Bildung und der Primarbildung wurde insgesamt nicht nur zu wenig Aufmerksamkeit zuteil, schlimmer noch: Die chronische und vergleichsweise dramatische Unterversorgung beispielsweise der Grundschule wurde und wird entgegen allen Beteuerungen nahezu hilflos hingenommen.
 

Prof. Dr. Klaus Klemm, Universität Duisburg-Essen
Zum siebten Mal seit 2000 wurden ­Deutschlands Schülerinnen und Schüler 2018 gemeinsam mit den ­Jugendlichen vieler Länder ge­testet: im Leseverständ­nis, in Mathematik und in den Naturwissenschaften. Die breitere Rezeption der jeweils im Jahr danach veröffentlichten Ergebnisse dieser internationalen Tests konzentriert sich bis heute – bei insgesamt abnehmendem öffentlichen Interesse – in schöner Regelmäßigkeit auf Ranglisten, etwa nach dem Muster: Im Leseverständnis lag Deutschland unter den OECD-Staaten 2000 noch auf Platz 21, 2018 dann aber auf Platz 15. Welch ein Erfolg!
Wenn die PISA-Studien nicht mehr brächten als derlei Listen, dann wäre jeder investierte Euro eine Fehlinvestition und dann wären derartige Tests eine überflüssige und unzumutbare Belastung der Schulen. Da, wo sich die Kritik ausschließlich auf diesen öffentlichkeitswirksamen Teil der PISA-Studien konzentriert, greift sie allerdings zu kurz. Sie übersieht wichtige andere Erträge:
Wer sich – wie ich es tue – in der empirischen Bildungsforschung und in öffentlichen Debatten um das Dauerthema ‚Benachteiligung‘ im und durch das Schulsystem interessiert, verfügt mit allen PISA-Veröffentlichungen über eine Fundgrube:

Erst seit PISA haben wir belastbare internationale Daten über schichtspezifische Ungleichheit.

Es waren und sind die PISA-Studien, die dazu geführt haben, dass wir in unseren Analysen nicht mehr auf die Staatsangehörigkeit der Jugendlichen, sondern auf ihren Zuwanderungshintergrund schauen. Erst die PISA-Studien haben es ermöglicht, die Gruppe der – wie ich es nenne – ‚Kellerkinder‘ unseres Bildungssystems (ärgerlicherweise in den frühen Studien als ‚Risikogruppe‘ diffamiert) genauer zu betrachten.
Darin, dass die PISA-Studien den Diskursen über Ungleichheit im Bildungssystem eine internationale und belastbare empirische Grundlage geliefert haben, besteht ihr Verdienst, nicht aber in den Ranglisten – auch wenn diese einem Publikum, das in den Kategorien der Bundesliga geübt ist, vertraut sein mag.
 

Prof. Dr. Georg Lind, Universität Konstanz
Die Bildungsforschung zeigt seit vielen Jahren, was an PISA alles falsch ist. Ja, unser Bildungssystem verdient Kritik und muss verbessert werden, aber PISA zeigt in die falsche Richtung. Es ist vieles alarmierend, vor allem die immer größer werdende Ungleichheit der Bildungschancen, die frühe Selektion, der Mangel an Inklusion, wie überhaupt die Bedeutung, die Selektion über Förderung hat, sind große Probleme. Aber die PISA-Ergebnisse sind nicht „alarmierend“. Sie sind ziemlich bedeutungslos, wie in vielen Studien nachzulesen ist.

Die PISA-Macher geben unwidersprochen zu, dass diese Tests NICHT das Wissen messen, das die Schule vermittelt. Sie sind sogar stolz darauf. Sie messen angeblich das, was das Leben fordert. Das ist, wenn man das so populär sagen darf, ein dicker Hammer. Warum gibt es angesichts solcher bildungspolitischer Anmaßung keinen Aufschrei seitens der Kultusminister und der Schulen? Wir zahlen Millionen Euro aus den Töpfen der Bildungspolitik, damit die OECD-Macher wie Schleicher uns sagen können, ob wir mit unserer Bildung das erreichen, was wir damit erreichen wollen. Und dann macht PISA einfach etwas anderes und misst etwas, wozu sie eigentlich gar keinen Auftrag haben.

Noch schlimmer: Die Behauptung, mit PISA-Tests würde etwas gemessen, das für das Leben wichtiger ist als Schulbildung, ist an Arroganz und Dummheit nicht zu überbieten. Schnelles Rechnen und schnelles Lesen sollen die allerwichtigste Grundlage für das Leben in einer hoch komplexen, demokratischen Industriegesellschaft sein?

Um Kritik abzuwehren, nennen die Test-Macher dies „Anwendungsbezug“. Und das, was man misst, wird hochtrabend mit „Kompetenz“ bezeichnet, auch wenn es sich nur um Schnellrechnen mit Hindernissen handelt. Diese künstlichen Hindernisse haben aber mit Anwendung und Praxisbezug wenig zu tun. Sie sind keine wirklichen, sondern nur textlich vorgestellte Anwendungen.
Vergleichsstudien, selbst wenn sie gut gemacht sind, bringen kaum ­Erkenntnisse, die sich für Pädagogik, Didaktik und Bildungspolitik nutzen lassen. Dafür sind die Ursachen für Unterschiede zu vielfältig und durch noch so kunstvolle Interpretationen nicht eindeutig zu machen. Viel nützlicher wären kleinere Quer- und Längsschnittstudien, da sie ­eindeutigere Rückschlüsse auf Ursachen (falsche Methoden? falsche Lehrbücher? zu wenig Zeit? zu viele Schüler? unzureichende Lehrerbildung? usw.) erlauben.

Wir brauchen in unseren Schulen eine völlig neue Testkultur.

Nur wenn die Ergebnisse von Tests nachvollziehbar sind und die Testaufgaben wieder dem entsprechen, was in der Schule gelernt werden soll, bewirkt diese Forschung auch etwas: nämlich besseren Unterricht und qualifiziertere Schulabgänger.