vertiefende methodische Hinweise zu Large Scale Assessment-Studien

Hier finden sich für unsere Large Scale Assessment-Studien (Bildungsmonitoring) spezifische Hinweise zur Nutzung der Daten.

Studien finden

zurück zur Studiensuche

IQB-Ländervergleiche (IQB-LV) und IQB-Bildungstrends (IQB-BT) 🔗

Wie viele Klassen pro Schule werden in den IQB-Ländervergleichen bzw. IQB-Bildungstrends in die Stichprobe gezogen?

In den IQB-Studien (Ländervergleiche bzw. Bildungstrend) wird in der Regel eine Klasse pro Schule in die Stichprobe aufgenommen. Außnahmen gibt es für einige Bundesländer sowie für einige Schulformen (z.B. Förderschulen). Informationen zur Stichprobenziehung in den Studien finden Sie in den Ergebnisberichten bzw. Skalenhandbüchern.

Hier eine kurze Zusammenfassung zur Stichprobenziehung:

  • IQB-Ländervergleich 2008/2009: Eine Klasse der 9. Jahrgangsstufe pro Schule; gesamter Klassenverband nahm an der Testung teil. Förderschulen wurden bei der Stichprobenziehung nicht berücksichtigt.
  • IQB-Ländervergleich 2011: An allgemeinen Schulen eine Klasse der 4. Jahrgangsstufe pro Schule; gesamter Klassenverband nahm an der Testung teil. An Förderschulen nahmen klassenübergreifend alle Schüler*innen teil, die der 4. Jahrgangsstufe zugeordnet waren und einen oder mehrere der Förderschwerpunkte Lernen, Sprache oder emotionale und soziale Entwicklung hatten.
  • IQB-Ländervergleich 2012: In Gymnasien wurde jeweils eine Klasse der 9. Jahrgangsstufe in die Testung einbezogen, in Schulen anderer Schularten (außer Förderschulen) waren es jeweils zwei Klassen (sofern vorhanden). In den ausgewählten Klassen sollten alle Schüler*innen an der Testung teilnehmen. An Förderschulen nahmen klassenübergreifend alle Schüler*innen teil, die der 9. Jahrgangsstufe zugeordnet waren und einen oder mehrere der Förderschwerpunkte Lernen, Sprache oder emotionale und soziale Entwicklung hatten.
  • IQB-Bildungstrend 2015: An allgemeinen Schulen eine Klasse der 9. Jahrgangsstufe pro Schule; in der ausgewählten Klasse sollten alle Schüler*innen an der Testung teilnehmen. An Förderschulen nahmen klassenübergreifend alle Schüler*innen teil, die der 9. Jahrgangsstufe zugeordnet waren und einen oder mehrere der Förderschwerpunkte Lernen, Sprache oder emotionale und soziale Entwicklung hatten.
  • IQB-Bildungstrend 2016: An allgemeinen Schulen eine Klasse der 4. Jahrgangsstufe pro Schule; gesamter Klassenverband nahm an der Testung teil. An Förderschulen nahmen klassenübergreifend alle Schüler*innen teil, die der 4. Jahrgangsstufe zugeordnet waren.
  • IQB-Bildungstrend 2018: In Gymnasien wurde jeweils eine Klasse der 9. Jahrgangsstufe in die Testung einbezogen, in Schulen anderer Schularten (außer Förderschulen) waren es jeweils zwei Klassen (sofern vorhanden). In den ausgewählten Klassen sollten alle Schüler*innen an der Testung teilnehmen. An Förderschulen nahmen klassenübergreifend alle Schüler*innen teil, die der 9. Jahrgangsstufe zugeordnet waren und einen oder mehrere der Förderschwerpunkte Lernen, Sprache oder emotionale und soziale Entwicklung hatten.

Sind die Kompetenzschätzer der PISA-, IGLU- und IQB-LV/BT-Studien miteinander vergleichbar?

Prinzipiell korrelieren die Tests aus PISA und den IQB-Ländervergleichen bzw. IQB-Bildungstrends hoch, aber die zugrunde liegenden Kompetenzmodelle unterscheiden sich. Die IQB-Tests sind an den Bildungsstandards der KMK und damit stärker am Curriculum orientiert als die PISA-Tests. Eine Testung der Vergleichbarkeit ist möglich mit IRT-Methoden auf Basis von Studien, in denen sowohl PISA als auch IQB-LV/IQB-BT Items verwendet wurden. Einige Studien zum Vergleich sind z. B.:

Das Ausmaß der Vergleichbarkeit muss für die Lese- und Mathematikkompetenzen sowie für die Sekundarstufe und Grundschule getrennt betrachtet werden. Auch wenn man davon ausgehen kann, dass sich Länderunterschiede mit beiden Maßen gut abbilden lassen, ist die Analyse von absoluten Trends auf einer gemeinsamen Metrik aber leider nicht möglich.

Die Datensätze der Studien PISA 2012 und IQB-Ländervergleich 2012 lassen sich über die ID-Variable [idstud_FDZ] miteinander verknüpfen. Dadurch können Sie Zusammenhänge zwischen den skalierten Testwerten beider Studien miteinander vergleichen.

Beachten Sie bitte zusätzlich:

  1. Anders als in den PISA-Erhebungen werden Lese- und Mathematikkompetenz in den IQB-Studien nur in der Grundschule gemeinsam getestet: Die Lesekompetenzen wurden im IQB-Ländervergleich 2009 (Sekundarstufe I) und im IQB-Ländervergleich 2011 (Grundschule) sowie im IQB-Bildungstrend 2015 (Sekundarstufe I) und im IQB-Bildungstrend 2016 (Grundschule) erfasst. Die Mathematikkompetenzen können Sie dem IQB-Ländervergleich 2012 (Sekundarstufe) und IQB-Ländervergleich 2011 (Grundschule) sowie dem IQB-Bildungstrend 2016 (Grundschule) und dem IQB-Bildungstrend 2018 (Sekundarstufe) entnehmen.
  2. Wenn Sie Analysen durchführen möchten, die unveröffentlichte, neuartige Vergleiche zwischen einzelnen Bundesländern beinhalten, gilt laut unserer Verfahrensordnung ein erweitertes Antragsverfahren mit Reviewprozess.

Welche PISA-Daten lassen sich mit welchen IQB-Ländervergleichen/Bildungstrends verknüpfen?

Die PISA 2012-Datensätze lassen sich mit den Daten des IQB-Ländervergleichs 2012 kombinieren. Die Schüler*innen-IDs wurden in den am FDZ am IQB verfügbaren Datensätzen schon so rekodiert, dass eine Verknüpfung beider Datenquellen möglich ist. Eine Verknüpfung der anderen PISA-Wellen mit den Daten der IQB-Ländervergleichen/IQB-Bildungstrends ist leider nicht möglich, da sich die ID-Variablen nicht einheitlich rekodieren lassen.

Gibt es in den IQB-Ländervergleichen/Bildungstrends sowie in PISA die Möglichkeit, eine (tagesgenaue) Erfassung des Alters der Schüler*innen vorzunehmen?

Angaben zum Geburtsjahr und Geburtsalter der Schüler*innen werden standardmäßig in den IQB-Ländervergleichen und PISA-Studien erhoben und stehen für Re- und Sekundäranalysen der Daten zur Verfügung. Tagesgenaue Angaben zum Geburtsdatum wurden aus datenschutzrechtlichen Gründen allerdings nicht erfasst und liegen in den Datensätzen nicht vor. Auch das genaue Testdatum ist in den meisten Datensätzen nicht enthalten (in PISA 2009 liegen diese Angaben vor). Häufig ist in den Datensätzen aber eine Altersvariable enthalten, die unter Verwendung des Geburtsjahrs und -monats in Relation zum Testdatum gebildet wurde (z. B. in den IQB-Ländervergleichen 2011, 2012 sowie in PISA 2012, 2009, 2006).

Gibt es Informationen zur Ortsgröße im IQB-Ländervergleich 2008-9?

Leider wurde die Ortsgröße am Schulstandort im IQB-Ländervergleich 2008-9 nicht erhoben, da in dieser Studie die Schulleitungen nicht befragt wurden.

Es gibt für den IQB-Ländervergleich 2008-9 in Französisch zwei separate Gewichte. Welches ist das richtige?

Der Ländervergleich in Französisch wurde gemeinsam mit der Normierungsstudie in einer gemeinsamen Erhebung im Jahr 2008 durchgeführt (s. S. 8 im Skalenhandbuch zur Studie). Die beiden Stichproben zur Normierungsstudie und zum Ländervergleich überlappen sich nur um ca. 1.900 Schüler*innen. Deshalb liegen für diese Stichproben auch separate Gewichte vor. Für eine Ländervergleichsstichprobe sollten Sie das Schüler*innengesamtgewicht [wgtlvfr] verwenden.

Es gibt weder im SUF-Datensatz zum Ländervergleich Französisch noch im Online-Skalenbuch eine Kindergartenbesuch-Variable. Wurde dies nicht erhoben?

Leider wurde der Besuch eines Kindergartens oder einer Vorschule nur im Ländervergleich Deutsch und Englisch erfasst, im Ländervergleich Französisch gab es dazu keine Frage im Schüler*innenfragebogen.

Wo finde ich die Altersanagaben im Schüler*innenfragebogen zum IQB-LV 2008-9 in Französisch?

Der Geburtsmonat & das Geburtsjahr der Schüler*innen sind im Schülerdatensatz des IQB- Ländervergleichs 2008-9 in Französisch enthalten; sie liegen sowohl als Lehrkräfteangabe (Variablennamen in JoSuA: [Tgebjah], [Tgebmo]) als auch als Schüler*innenangabe (Variablennamen in JoSuA: [Sgebjah], [Sgebmo]) vor.

Wie führe ich Trendanalysen mit dem IQB-Bildungstrend 2015 durch?

Im IQB-Ländervergleich 2008-9 wurden erstmalig Daten zum Erreichen der Bildungsstandards in den sprachlichen Fächern am Ende der 9. Jahrgangsstufe erhoben. Mittlerweile liegt mit dem IQB-Bildungstrend 2015 die zweite Erhebung zu den Bildungsstandards in diesen Fächern vor, sodass es nun möglich ist, Trendanalysen durchzuführen.

Für Trenddarstellungen ist es grundsätzlich erforderlich, die Ergebnisse aus den verschiedenen Erhebungen auf einer einheitlichen Metrik abzubilden. Hierzu wurden im Zuge der Datenauswertung am IQB die Daten des IQB-Ländervergleichs 2009 auf die Berichtsmetrik des IQB-Bildungstrends 2015 übertragen. Der am FDZ am IQB verfügbare Datensatz zum IQB-Ländervergleich 2008-9 wurde entsprechend aktualisiert und enthält nun auch Kompetenzwerte, die auf der Metrik des IQB-Bildungstrends 2015 liegen. Des Weiteren wurden im Zuge der Auswertungen und Berichtlegung zum IQB-Bildungstrend 2015 bestimmte Variablen aus dem Datensatz des IQB-Ländervergleichs 2008-9 neu gebildet, um für beide Messzeitpunkte auf eine einheitliche Kodierung der Variablen zurückgreifen zu können. Im Zuge dessen wurden auch die Angaben zu den Berufstätigkeiten der Eltern für die Daten aus dem Jahr 2009 nach ISCO-08 neu kodiert und die darauf basierenden Variablen neu gebildet.

Bitte beachten Sie auch die Hinweise zur Trenddarstellung im Skalenhandbuch zum IQB-Bildungstrend 2015.

Eine Liste der neuen Variablen im Schüler*innendatensatz, die nicht nicht im Skalenhandbuch zum IQB-Ländervergleich 2008-9 aufgeführt sind, finden Sie unter der Rubrik Dokumentation.

Worauf lassen sich die fehlenden Werte auf den Kompetenzschätzern (z. B. Plausible Values, Kompetenzstufen, WLEs) im IQB-Ländervergleich 2011 zurückführen?

Fehlende Werte auf den Kompetenzschätzern (z. B. Plausible Values, Kompetenzstufen, WLEs) lassen sich darauf zurückführen, dass diese Kinder entweder nicht am Kompetenztest teilgenommen haben (keine Teilnahme am Testheft zu Testtag 1 und/oder Testtag 2, siehe die Variablen [tr_t_th_tt1] und [tr_t_th_tt2] im Schülerdatensatz) bzw. aus einem anderen Grund von der Testung ausgeschlossen wurden (siehe Variable ]tr_Ex" im Schüler*innendatensatz).

Was sind die WLE-Reliabilitäten der Kompetenzschätzer und Referenz für Skalen zum akademischen Selbstkonzept im IQB-Ländervergleich 2011?

WLE-Reliabilitäten:

  • Lesen: WLE-Rel. = 0.669
  • Zuhören: WLE-Rel. = 0.605
  • Orthografie: WLE-Rel. = 0.844
  • Mathematik (Globalmodell): WLE-Rel. = 0.921

Referenz für Skalen zum akademischen Selbstkonzept:

  • Martin, M. O., & Preuschoff, C. (2008). Creating the TIMSS 2007 background indices. In J. F. Olson, M. O. Martin, & I. V. S. Mullis (Eds.), TIMSS 2007 Technical Report (pp. 281–338). Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College.

Wie werden Lehrkräfte- und Schüler*innendatensätzen verknüpft?

Im IQB-Ländervergleich 2011 wurde pro Schule eine Klasse in die Stichprobe einbezogen (mit einigen wenigen Ausnahmen von Schulen, in denen Schüler*innen mit sonderpädagogischem Förderbedarf nicht gemeinsam mit Schüler*innen ohne Förderbedarf getestet wurden).

Die Teildatensätze der Schüler*innen und Lehrkräfte lassen sich über die ID-Variable „idsch_FDZ“ miteinander kombinieren. Vor einer Verknüpfung beider Datensätze müssen im Lehrkräfte-Datensatz doppelte Fälle mit identischer „idsch_FDZ“ (N=557) entfernt werden. Doppelte Fälle im Lehrkräfte-Datensatz kommen dadurch zustande, dass die Fächer Deutsch und Mathematik in manchen Klassen von verschiedenen Lehrkräften unterrichtet wurden. In diesen Klassen liegen Angaben beider Lehrkräfte vor.

Es wird empfohlen, die Auswahl der Lehrkräfteangaben fachspezifisch vorzunehmen: Für schüler*innenspezifische Analysen zum Fach Deutsch bzw. Mathematik sollten die korrespondierenden Lehrkräfte (Variablennamen im Lehrkräfte-Datensatz: Deutsch: „LFa_a“, Mathematik: „LFa_f“) ausgewählt werden.

Wie führe ich Trendanalysen mit dem IQB-Bildungstrend 2016 durch?

Um Trendanalysen zwischen dem IQB-Ländervergleich 2011 und IQB-Bildungstrend 2016 durchführen und die Ergebnisse zum IQB-Bildungstrend 2016-Berichtsband replizieren zu können, werden für den Kompetenzbereich Orthografie neu skalierte Plausible Values benötigt. Diese wurden in der dritten Datenversion hinzugefügt:

  • Neue Variablen (N=15): SLvDOR01_Metrik2016 bis SLvDOR15_Metrik2016

Für die anderen Kompetenzbereiche (Lesen und Zuhören) und das Fach Mathematik sind keine Anpassungen der Plausible Values erforderlich, um Trendanalysen durchzuführen. Um die Ergebnisse des Berichtsbandes für den IQB-Ländervergleich 2011 zum Kompetenzbereich Orthografie zu replizieren, sollte auf die ursprünglichen Kompetenzschätzer zurückgegriffen werden (Variablennamen: SLvDOR01 bis SLvDOR15).

Die Datensätze der Studien PISA 2012 und IQB-Ländervergleich 2012 lassen sich über die ID-Variable [idstud_FDZ] miteinander verknüpfen. Dadurch können Sie Zusammenhänge zwischen den skalierten Testwerten beider Studien miteinander vergleichen.

Wie hoch sind die Reliabilitäten der Skalen BEFKI figural (wle.gff), C-Test (wle.ctest) und höchster ISEI der Familie (HISEI) im IQB-LV 2012?

Die WLE-Reliabilitäten des BEFKI (figural) und C-Test betragen: BEFKI: 0.701; C-Test: 0.884. Zum höchsten ISEI in der Familie (HISEI) können wir Ihnen leider keinen Reliabilitätskoeffizienten berichten, da dieser Indikator über ein Item erfasst wurde.

Wie gehe ich mit fehlenden Werten in Mehrebenenmodellen in dem IQB-LV 2012-Datensatz um?

Wir empfehlen - wie in Kapitel 10 des Ergebnisberichts beschrieben - die Nutzung des Full Information Maximum Likelihood (FIML)-Ansatzes zum Umgang mit fehlenden Werten in Mehrebenenmodellen. In Kapitel 10 des Berichts wurde bei den Analysen auch auf die PVs zurückgegriffen, die in diesem Datensatz vorliegen und erst im Anschluss FIML in Mplus genutzt.

Weitere methodische Hinweise zum Umgang mit fehlenden Werten in Mehrebenenmodellen finden Sie in den folgenden Publikationen:

  • Grund, S., Lüdtke, O., & Robitzsch, A. (2018). Multiple imputation of missing data for multilevel models: Simulations and recommendations. Organizational Research Methods. doi: 10.1177/1094428117703686
  • Lüdtke, O., Robitzsch, A., & Grund, S. (2017). Multiple imputation of missing data in multilevel designs: A comparison of different strategies. Psychological Methods, 22, 141–165. doi: 10.1037/met0000096

Von den über 44.000 Schüler*innen der Stichprobe beim IQB-LV 2012 liegen von ca. 40% keine Leistungsdaten vor. Welche Ursachen hat das?

Der hohe Anteil fehlender Werte ist darauf zurückzuführen, dass nicht allen Schüler*innen alle Kompetenztests vorgelegt wurden, sondern ein Multiple-Matrix-Sampling zum Einsatz kam. Die fehlenden Werte sind also zum Großteil "Missing by Design". Nähere Informationen zum Testdesign finden Sie im Bericht zum IQB-Ländervergleich 2012 (Kapitel 4 und Kapitel 13), den Sie auf unserer Studienwebsite finden.

Welche neuen Variablen gibt es im Schüler*innendatensatz in Version 4?

In der vierten Version wurden im Schüler*innendatensatz neue Variablen zur Lernzeit in den Fächern Biologie, Chemie, Physik und Naturwissenschaften ergänzt. Dabei handelt es sich um die Stundenanzahl pro Halbjahr jeweils von der 5. bis zur 9. Klasse pro Fach. Außerdem wurden die Variablen zur kumulierten Stundenanzahl in Schuljahrwochenstunden von der 5. bis zur 9. Klasse pro Fach aktualisiert, die aus den eingangs beschriebenen Variablen erstellt wurden. Darüber hinaus wurden die Variablen zur Kompetenzstufenbesetzung in den Fächern Mathematik, Biologie, Chemie und Physik korrigiert.

Hier finden Sie eine Übersicht der neuen Variablen:

  • Lernzeit Biologie: pstdbio051.r, pstdbio052.r, pstdbio061.r, pstdbio062.r, pstdbio071.r, pstdbio072.r, pstdbio081.r, pstdbio082.r, pstdbio091.r, pstdbio092.r
  • Lernzeit Chemie: pstdche051.r, pstdche052.r, pstdche061.r, pstdche062.r, pstdche071.r, pstdche072.r, pstdche081.r, pstdche082.r, pstdche091.r, pstdche092.r
  • Lernzeit Physik: pstdphy051.r, pstdphy052.r, pstdphy061.r, pstdphy062.r, pstdphy071.r, pstdphy072.r, pstdphy081.r, pstdphy082.r, pstdphy091.r, pstdphy092.r
  • Lernzeit Naturwissenschaften: pstdnws051.r, pstdnws052.r, pstdnws061.r, pstdnws062.r, pstdnws071.r, pstdnws072.r, pstdnws081.r, pstdnws082.r, pstdnws091.r, pstdnws092.r

Hier finden Sie eine Übersicht der aktualisierten Variablen:

  • Lernzeit in Biologie, Chemie und Physik: lzbio, lzche und lzphy
  • Kompetenzstufenbesetzung Mathematik (Globalmodell): pv_1_GL_stufe - pv_15_GL_stufe
  • Kompetenzstufenbesetzung Biologie (Fachwissen): pv_1_BF_stufe - pv_15_BF_stufe
  • Kompetenzstufenbesetzung Biologie (Erkenntnisgewinnung): pv_1_BE_stufe - pv_15_BE_stufe
  • Kompetenzstufenbesetzung Chemie (Fachwissen): pv_1_CF_stufe - pv_15_CF_stufe
  • Kompetenzstufenbesetzung Chemie (Erkenntnisgewinnung): pv_1_CE_stufe - pv_15_CE_stufe
  • Kompetenzstufenbesetzung Physik (Fachwissen): pv_1_PF_stufe - pv_15_PF_stufe
  • Kompetenzstufenbesetzung Physik (Erkenntnisgewinnung): pv_1_PE_stufe - pv_15_PE_stufe

Wie werden Lehrkräfte- und Schüler*innendatensätze verknüpft?

Die Verknüpfbarkeit zwischen Schüler- und Lehrkräftedatensatz ist auch unter Nutzung des Link-Datensatzes (Datensatz: IQB-LV-2012_Link_SFB_LFB_SLFB) nur eingeschränkt möglich.

Die Angaben zu den unterrichteten Fächern im Link-Datensatz wurden über folgende Frage im Fragebogen für die Lehrkräfte erhoben: "Unterrichten Sie die am Ländervergleich teilnehmenden Klassen/ Kurse in den Fächern Mathematik, Biologie, Chemie, Physik oder Naturwissenschaften?"

Aus den Angaben im Link-Datensatz lässt sich nicht zweifelsfrei feststellen, ob eine Lehrkraft eine*n spezifische*n Schüler*in unterrichtet hat. Manche Schüler*innen wurden von mehreren getesteten Lehrkräften unterrichtet. Es kann auch sein, dass eine Lehrkraft eine*n Schüler*in in Mathematik und zusätzlich noch einer anderen getesteten Klasse in Physik unterrichtete. Eine eindeutige Zuordnung ist über die Variablen zur Kursbezeichnung im Lehrkräfte-Datensatz (Datensatz: IQB-LV-2012_LFB; Variablennamen: luntflvteil01_1_FDZ bis luntflvteil24_1_FDZ) und im Schüler*innen-Datensatz (Datensatz: IQB-LV-2012_SFB; Variablennamen: tkursdiffdeu_FDZ, tkursdiffmat_FDZ, tkursdiffbio_FDZ, tkursdiffche_FDZ, tkursdiffphy_FDZ, tkursdiffnwi_FDZ) möglich.

Nichtsdestotrotz ist eine eindeutige Zuordnung nicht für alle Schüler*innen und Lehrkräfte möglich. Zu dieser Herausforderung kann Kapitel 12 (insbesondere Teilkapitel 12.6) des Berichts zum IQB-Ländervergleich 2012 konsultiert werden, der online verfügbar ist:

Dort steht in Kapitel 12.6 (S. 381):

"Für die Analysen zum Zusammenhang von Lehrbefähigung, Fortbildungsteilnahme und Schülerkompetenzen wurden zunächst die Angaben der Lehrkräfte mit den im IQB-Ländervergleich erreichten Kompetenzen der von ihnen unterrichteten Schülerinnen und Schüler verknüpft, wobei eine eindeutige Zuordnung für 41 Prozent der Schülerinnen und Schüler in Mathematik, für 39 Prozent in Biologie, für 35 Prozent in Chemie und für 47 Prozent in Physik vorgenommen werden konnte. Diese vergleichsweise geringe Zuordnungsquote von weniger als 50 Prozent lässt sich unter anderem darauf zurückführen, dass ein Teil der Lehrkräfte den Fragebogen nicht ausfüllte, bei Kursunterricht zum Teil Informationen über die Zuordnung zwischen Lehrkraft und Schülerinnen und Schülern fehlten sowie für einen Teil der Jugendlichen Angaben von zwei Lehrkräften desselben Faches innerhalb einer Klasse vorlagen. War letzteres der Fall, wurden die Daten der Schülerinnen und Schüler den Lehrkräften nicht zugeordnet, um Fehlzuordnungen zu vermeiden."

Wie werden die Datensätze des IQB-LV 2012 mit PISA 2012 verknüpft?

Die Datensätze des IQB-Ländervergleichs 2012 können mit den Datensätzen der 9. Klässler*innen der PISA-2012-Studie verknüpft werden, die ebenfalls am FDZ des IQB verfügbar ist. Die Klassenstichprobe der PISA-2012-Studie (n = 9 998; zwei gezogene Klassen pro Schule) nahm am zweiten Testtag an den Kompetenztests des IQB-Ländervergleichs 2012 teil. Die Verknüpfung beider Schüler*innendatensätze gelingt über die Variable idstud_FDZ.

Eine Verknüpfung der anderen PISA-Wellen mit den Daten der IQB-Ländervergleichen/IQB-Bildungstrends ist leider nicht möglich, da sich die ID-Variablen nicht einheitlich rekodieren lassen.

Sind im Datensatz des IQB-Bildungstrends 2015 auch Variablen zum Mobbing bzw. Bullying enthalten?

Die Schüler*innen im IQB-Bildungstrend 2015 wurden bezüglich ihres schulischen Wohlbefindens (Skalenname: Swas) befragt ( z. B. "Ich fühle mich als Außenseiterin/Außenseiter in dieser Schule.", "Ich fühle mich unbehaglich und fehl am Platz in dieser Schule.", "Andere Schülerinnen und Schüler scheinen mich zu mögen."), jedoch nicht zum Thema Mobbing bzw. Bullying. Variablen zu diesem Thema finden sich in der PISA 2015-Studie.

Gibt es zum IQB-Bildungstrends 2015 einen technischen Bericht?

Informationen zur Stichprobenziehung und Testdesign können Sie dem Berichtsband (Kapitel 3 und Kapitel 11) und dem Skalenhandbuch zur Studie entnehmen.

Welche Skalierung wurde bei dem Testscore zum BEFKI 8-10 zugrunde gelegt?Es handelt sich dabei um Weighted Likelihood Estimate Schätzer (WLE, Warm, 1989) - das sind Individualschätzer für die Fähigkeiten, die auf Item-Response-Modellen basieren. WLEs können so ähnlich interpretiert werden wie z-Werte (durchschnittliche Fähigkeit = 0, höhere Werte stehen für höhere Fähigkeiten), allerdings ist die Standardabweichung bei WLEs nicht 1. Die WLEs wurden auf Grundlage der Stichprobe des IQB-Bildungstrends 2015 gebildet, es wurden weder alters- noch jahrgangsstufenbezogene Normwerte herangezogen.Nähere Informationen zur Interpretation von WLEs finden Sie in dieser Publikation:

Wie identifiziere ich Klassenverbänden anhand der Variable IDTESTGROUP?

Die Variablen [TR_Klasse] und [IDTESTGROUP_FDZ] wurden aus datenschutzrechtlichen Gründen geleert. Sie können in JoSuA die Variable [idtestgroup] nutzen, um Klassenverbände zu identifizieren (diese Variable beinhaltet alle Informationen der geleerten Variable [IDTESTGROUP_FDZ]). Zusätzlich können Sie die Variable [idteach_d_FDZ1] (Deutschlehrkraft) nutzen: Jede Deutschlehrkraft ist in der Regel einer Testgruppe ([idtestgroup]) zugeordnet.

Wie werden Lehrkräfte- und Schüler*innendatensätzen verknüpft?

  • Datensatz Deutsch/Englisch

Für das Matching dieser Datensätze kann die passende Lehrkraft-ID (Deutschlehrer „idteach_d_FDZ1“, Englischlehrer „idteach_e_FDZ1“ oder Förderschullehrer „idteach_f_FDZ1“) genutzt werden. Da der Grad der Verpflichtung der Lehrkräfte zur Teilnahme an der Befragung zwischen den Bundesländern variiert, kann es zu systematischen Ausfällen bei den Lehrkräften kommen. Gleichzeitig gibt es auch Klassen, für die zwei Lehrkraftfragebögen für das gleiche Fach vorliegen.

  • Datensatz Französisch

Das Matching ist über die Schul-ID möglich. Pro Schule wurde genau eine Klasse getestet bzw. bei einer Organisation in Kursen genau ein Kurs. Eine komplizierte Verteilung der Schüler der Testgruppe auf verschiedene Kurse oder eine Testung an Förderschulen gab es hier nicht. Für die Schule mit der rekodierten ID 170 ergibt sich der Sonderfall, dass zwei Lehrkräfte dieselbe Klasse unterrichteten und beide befragt wurden. Vor einer Verknüpfung muss diese Dopplung z. B. durch Ausschluss eines Falls behandelt werden.

Wieso kommt im Schulleitungsdatensatz eine ID doppelt vor?

Im Schulleitungsdatensatz kommt eine ID doppelt vor (245). Vom Schulleitungsfragebogen mit der IDSCH 538712 gibt es ein Duplikat, da der Schule – auf Wunsch der Schulleitung – ein weiterer Fragebogen zugeschickt wurde. Die Angaben sind größtenteils deckungsgleich; den Datennutzenden würden wir empfehlen, sich bei Analysen zufällig für eine Zeile zu entscheiden.

Welche Änderungen gab es in Version 5?

  • Korrektur der Variable Schulart

In der fünften Version des IQB-Bildungstrend Sprachen 2015 wird eine fehlerhafte Kodierung fehlender Werte auf der Variable Schulart wirksam. Diese Variable weist nun keine fehlenden Werte mehr auf.

Welche Änderungen gab es in Version 4?

  • Neue Teildatensätze Französisch

Die vierte Version des IQB-Bildungstrend Sprachen 2015 enthält drei Teildatensätze (Schüler, Lehrkräfte, Schulleiter) mit einer Stichprobe der Länder, in denen Französisch häufig die erste Fremdsprache ist. Die Ergebnisse für diese ergänzende Stichprobe werden im Bericht zum IQB-Bildungstrend 2015 separat berichtet.

  • Neue Variablen

Für die vierte Version wurden im Lehrkräftedatensatz Deutsch/Englisch Variablen neu berechnet und rekodiert, um eine bessere Replizierbarkeit des Berichts zum IQB-Bildungstrend 2015 zu ermöglichen. Dies betrifft Variablen zur Identifizierung von fachfremden Lehrkräften sowie Quereinsteigern.

NEU: Lbfg-deu und Lbfg_eng RECODIERT: Lfremd_deu und Lfremd_eng

Wie werden Lehrkräfte- und Schüler*innendatensätzen verknüpft?

Im IQB-Bildungstrend 2016 gibt es im Schülerdatensatz die Zuordnungs-ID „ZIDteach“ und im Lehrerdatensatz mehrere ID-Variablen (siehe Skalenhandbuch):

  • „ZIDteachD“ Zuordnungs-ID Deutschlehrkräfte
  • „ZIDteachM“ Zuordnungs-ID Mathematiklehrkräfte
  • „ZIDteachD2“ Zuordnungs-ID für Deutschlehrkräfte, die in mehreren getesteten Klassen unterrichten (nur an Förderschulen)
  • „ZIDteachM2“ Zuordnungs-ID für Mathematiklehrkräfte, die in mehreren getesteten Klassen unterrichten (nur an Förderschulen)

Im Schülerdatensatz ist nur eine „ZIDteach“ enthalten. Diese müsste zum Heranspielen der Lehrerdaten je nach Fragestellung umbenannt werden, kann also als „ZIDteachD“, „ZIDteachM“ etc. verwendet werden. Dies ist notwendig, um im wideformat immer nur eine Lehrkraft pro Schülergruppe heranzuspielen. Die „ZIDteach“ ist insgesamt eine Kombination von metrischer Schul-ID („IDSCH“) und einer String-Variable der unterrichteten Klasse an Förderschulen. Dies ist notwendig, da an Förderschulen alle Schülerinnen und Schüler der 4. Jahrgangsstufe und alle sie unterrichtenden Deutsch- und Mathematiklehrkräfte an der Studie teilgenommen haben.

Das heißt, dass innerhalb einer Schule mehrere Klassen enthalten sind, die sich nicht anders identifizieren lassen. An allgemeinen Schulen wurde eine Klasse pro Schule getestet. Dort gibt es maximal zwei Lehrkräfte pro Klasse (also eine Deutschlehrkraft und eine Mathelehrkraft). Somit entspricht die „ZIDteach“ an allgemeinen Schulen der „IDSCH“.

Wozu wird der Teildatensatz Linkingfehler verwendet?

Jede statistische Schätzung ist mit Unsicherheit verbunden, die verschiedene Ursachen haben kann. Für große Schulleistungsstudien spielen vor allem der Messfehler und der Stichprobenfehler eine zentrale Rolle. Für die Schätzung, wie sich die erreichten Kompetenzen zwischen den Erhebungen verändert haben, muss darüber hinaus der Linkingfehler als eine dritte mögliche Unsicherheitsquelle berücksichtigt werden. Bei der Berechnung von Trends ist zur Ermittlung der Standardfehler ggf. der jeweilige Linkingfehler zu berücksichtigen.

Eine ausführliche Beschreibung hierzu kann dem technischen Kapitel im Berichtsband zum IQB-Bildungstrend 2015 (Sachse et al., 2016) entnommen werden.

Ein weitere methodische Informationen sind zudem im R-Paket eatRep enthalten.

Wie werden Lehrkräfte- und Schüler*innendatensätzen verknüpft?

Alle Daten, die einen direkten Bezug zu den Schüler*innen aufweisen, wurden bereits in einem Datensatz zusammengeführt. Dieser enthält somit neben den Angaben der Schulen zu den einzelnen Schüler*innen, den Ergebnissen der Tests zu den Kompetenzen und den kognitiven Grundfähigkeiten und der Befragung der Schüler*innen auch die Angaben aus dem Elternfragebogen. Die einzige Ausnahme bilden die Angaben der Schüler*innen zu sozialen Netzwerken, die in einem separaten Datensatz bereitgestellt werden. Die Ergebnisse der Lehrkräftebefragung sowie der Befragung der Schulleitungen sind ebenfalls in separaten Datensätzen zu finden und können bei Bedarf mit den Daten der Schüler*innen zusammengeführt werden.

Die Angaben zu sozialen Netzwerken können über die Schüler*innen-ID („IDSTUD“) mit den anderen Daten zu den Schüler*innen verknüpft werden.

Angaben aus der Lehrkräftebefragung finden sich in zwei separaten Datensätzen. Hierzu gehört einerseits ein „allgemeiner Lehrkräftedatensatz“, in dem sich Angaben zu den Lehrkräften selbst finden (z. B. zu ihrer Ausbildung). Jede Lehrkraft, die an der Befragung teilgenommen hat, entspricht in diesem Datensatz einer Zeile. Zum anderen wird ein „lerngruppenspezifischer Lehrkräftedatensatz“ bereitgestellt, der Angaben der Lehrkräfte zu einzelnen Lerngruppen enthält (z. B. zu Merkmalen ihres Unterrichts in der jeweiligen Lerngruppe). In diesem Datensatz entspricht eine Zeile einer Lerngruppe, sodass Angaben in mehreren Zeilen von derselben Lehrkraft stammen können. Beide Datensätze können mithilfe der Lehrkräfte-ID (Variable „IDTEACH“) verknüpft werden. Die Verknüpfung der Lehrkräfte und Schüler*innen erfolgt mithilfe des Matching-Datensatzes und des lerngruppenspezifischen Datensatzes auf Basis der Matching-ID („IDMATCHING“). Diese Variable stellt einen eindeutigen Identifier einer Lerngruppe an allgemeinen Schulen und Förderschulen dar.

Die Verknüpfung der Schüler*innendaten mit den Angaben der Schulleitungen kann so- wohl für die allgemeinen Schulen als auch für die Förderschulen über die Schul-ID (Variable „IDSCH“) erfolgen.

Wozu wird der Teildatensatz Linkingfehler verwendet?

Jede statistische Schätzung ist mit Unsicherheit verbunden, die verschiedene Ursachen haben kann. Für große Schulleistungsstudien spielen vor allem der Messfehler und der Stichprobenfehler eine zentrale Rolle. Für die Schätzung, wie sich die erreichten Kompetenzen zwischen den Erhebungen verändert haben, muss darüber hinaus der Linkingfehler als eine dritte mögliche Unsicherheitsquelle berücksichtigt werden. Bei der Berechnung von Trends ist zur Ermittlung der Standardfehler ggf. der jeweilige Linkingfehler zu berücksichtigen.

Eine ausführliche Beschreibung hierzu kann dem technischen Kapitel im Berichtsband zum IQB-Bildungstrend 2015 (Sachse et al., 2016) entnommen werden.

Ein weitere methodische Informationen sind zudem im R-Paket eatRep enthalten.

Programme for International Student Assessment (PISA) 🔗

Sind die Kompetenzschätzer der PISA-, IGLU- und IQB-LV/BT-Studien miteinander vergleichbar?

Prinzipiell korrelieren die Tests aus PISA und den IQB-Ländervergleichen bzw. IQB-Bildungstrends hoch, aber die zugrunde liegenden Kompetenzmodelle unterscheiden sich. Die IQB-Tests sind an den Bildungsstandards der KMK und damit stärker am Curriculum orientiert als die PISA-Tests. Eine Testung der Vergleichbarkeit ist möglich mit IRT-Methoden auf Basis von Studien, in denen sowohl PISA als auch IQB-LV/IQB-BT Items verwendet wurden. Einige Studien zum Vergleich sind z. B.:

Das Ausmaß der Vergleichbarkeit muss für die Lese- und Mathematikkompetenzen sowie für die Sekundarstufe und Grundschule getrennt betrachtet werden. Auch wenn man davon ausgehen kann, dass sich Länderunterschiede mit beiden Maßen gut abbilden lassen, ist die Analyse von absoluten Trends auf einer gemeinsamen Metrik aber leider nicht möglich.

Die Datensätze der Studien PISA 2012 und IQB-Ländervergleich 2012 lassen sich über die ID-Variable [idstud_FDZ] miteinander verknüpfen. Dadurch können Sie Zusammenhänge zwischen den skalierten Testwerten beider Studien miteinander vergleichen.

Beachten Sie bitte zusätzlich:

  1. Anders als in den PISA-Erhebungen werden Lese- und Mathematikkompetenz in den IQB-Studien nur in der Grundschule gemeinsam getestet: Die Lesekompetenzen wurden im IQB-Ländervergleich 2009 (Sekundarstufe I) und im IQB-Ländervergleich 2011 (Grundschule) sowie im IQB-Bildungstrend 2015 (Sekundarstufe I) und im IQB-Bildungstrend 2016 (Grundschule) erfasst. Die Mathematikkompetenzen können Sie dem IQB-Ländervergleich 2012 (Sekundarstufe) und IQB-Ländervergleich 2011 (Grundschule) sowie dem IQB-Bildungstrend 2016 (Grundschule) und dem IQB-Bildungstrend 2018 (Sekundarstufe) entnehmen.
  2. Wenn Sie Analysen durchführen möchten, die unveröffentlichte, neuartige Vergleiche zwischen einzelnen Bundesländern beinhalten, gilt laut unserer Verfahrensordnung ein erweitertes Antragsverfahren mit Reviewprozess.

Gibt es in den IQB-Ländervergleichen/Bildungstrends sowie in PISA die Möglichkeit, eine (tagesgenaue) Erfassung des Alters der Schüler*innen vorzunehmen?

Angaben zum Geburtsjahr und Geburtsalter der Schüler*innen werden standardmäßig in den IQB-Ländervergleichen und PISA-Studien erhoben und stehen für Re- und Sekundäranalysen der Daten zur Verfügung. Tagesgenaue Angaben zum Geburtsdatum wurden aus datenschutzrechtlichen Gründen allerdings nicht erfasst und liegen in den Datensätzen nicht vor. Auch das genaue Testdatum ist in den meisten Datensätzen nicht enthalten (in PISA 2009 liegen diese Angaben vor). Häufig ist in den Datensätzen aber eine Altersvariable enthalten, die unter Verwendung des Geburtsjahrs und -monats in Relation zum Testdatum gebildet wurde (z. B. in den IQB-Ländervergleichen 2011, 2012 sowie in PISA 2012, 2009, 2006).

Welche nationalen PISA-Daten lassen sich mit den IQB-Ländervergleichen/Bildungstrends oder den internationalen PISA-Daten verknüpfen?

Die PISA-2012-Datensätze lassen sich mit den Daten des IQB-Ländervergleichs 2012 kombinieren. Die Schüler*innen-IDs wurden in den am FDZ am IQB verfügbaren Datensätzen schon so rekodiert, dass eine Verknüpfung beider Datenquellen möglich ist. Eine Verknüpfung der anderen PISA-Wellen mit den Daten der IQB-Ländervergleichen/IQB-Bildungstrends ist leider nicht möglich, da sich die ID-Variablen nicht einheitlich rekodieren lassen.

Auf welchen Ebenen wurden die Deutschland-PISA-Daten erfasst?

In den deutschen PISA-Studien liegen lediglich Informationen auf Bundeslandebene vor. Bitte beachten Sie, dass bei der Analyse von Bundesland-Daten besondere Nutzungsbedingungen eingehalten werden müssen. Diese können Sie hier nachlesen:

Wie hoch ist die Anzahl der gezogenen Klassen pro Schule in PISA-Erhebungen?

Informationen zur Stichprobenziehung in den Studien finden Sie in den Ergebnisberichten bzw. Skalenhandbüchern. Hier eine kurze Zusammenfassung zur Stichprobenziehung in PISA:

  • PISA 2000: zufällige Auswahl von 28 15-Jährigen sowie 10 nicht 15-Jährigen Neuntklässlern pro Schule; es wurden also nicht vollständige Klassen gezogen, Analysen können nur auf Schulebene durchgeführt werden
  • PISA 2003: zufällige Auswahl von 15-Jährigen pro Schule; zusätzlich wurden für die nationale Erweiterung zwei komplette 9. Klassen pro Schule gezogen; in den PISA-E-Daten wurde allerdings keine klassenbasierte Stichprobenziehung realisiert.
  • PISA 2006: schulbasierte Stichprobenziehung, anschließend zufällige Auswahl von 15-Jährigen pro Schule, an den Schulen der internationalen Stichprobe (PISA_I) wurden zusätzlich Schüler*innen aus zwei kompletten 9. Klassen getestet
  • PISA 2009: schulbasierte Stichprobenziehung, zusätzlich wurden Schüler*innen aus zwei kompletten 9. Klassen pro Schule getestet
  • PISA 2012: schulbasierte Stichprobenziehung, zusätzlich wurden Schüler*innen aus zwei kompletten 9. Klassen pro Schule getestet PISA 2015: schulbasierte Stichprobenziehung, anschließend zufällige Auswahl von 15 Schüler*innen einer 9. Klasse innerhalb einer Schule
  • PISA 2015: schulbasierte Stichprobenziehung, anschließend zufällige Auswahl von 15 Schüler*innen einer 9. Klasse innerhalb einer Schule
  • PISA 2018: schulbasierte Stichprobenziehung, anschließend zufällige Auswahl von 15 Schüler*innen einer 9. Klasse innerhalb einer Schule

Wie viele Schüler*innen an Förder- und Berufsschulen sind in den PISA-Daten enthalten?

Die Förder- und Berufsschüler*innen wurden in den genannten PISA-Erhebungen getrennt erfasst. Nachfolgend finden Sie die Stichprobenumfänge für diese Teilgruppen. Sie basieren auf den Angaben in den deutschen PISA-Erweiterungsstichproben (PISA-E) in den Schüler*innen- und Schulleitungsdatensätzen. Gegebenenfalls kann es zu leichten Abweichungen zu den berichteten Stichproben in den Ergebnisberichten kommen.

  • PISA 2000 E
    • 9. Klasse: n= 11 Schüler*innen an Berufsschulen, n= 22 Schüler*innen an Förderschulen von insgesamt n = 34.754 Schüler*innen
    • 15-Jährige: n= 241 Schüler*innen an Berufsschulen, n= 799 Schüler*innen an Förderschulen von insgesamt n= 35.584 Schüler*innen
    • Schuldatensatz: n= 18 Berufsschulen, n= 4 Förderschulen von insgesamt n= 1.342 Schulen
  • PISA 2003 E (hier keine Differenzierung zwischen Datensätzen für 9. Klasse & 15-Jährige möglich)
    • 9. Klasse: n= 654 Schüler*innen an Berufsschulen, n= 1.712 Schüler*innen an Förderschulen von insgesamt n= 46.185 Schüler*innen
    • Schuldatensatz: n= 43 Berufsschulen, keine Förderschulen von insgesamt n= 1.411 Schulen
  • PISA 2006 E
    • 9. Klasse: keine Schüler*innen an Berufsschulen oder Förderschulen im Datensatz
    • 15-Jährige: n= 625 Schüler*innen an Berufsschulen, n= 2.560 Schüler*innen an Förderschulen von insgesamt n= 39.573 Schüler*innen
    • Schuldatensatz: n= 42 Berufsschulen, keine Förderschulen von insgesamt n= 1.496 Schulen
  • PISA 2009 E
    • 9. Klasse: keine Schüler*innen an Berufsschulen oder Förderschulen im Datensatz von insgesamt n= 9.461
    • Schuldatensatz: n= 9 Berufsschulen, n= 13 Förderschulen von insgesamt n= 226 Schulen
  • PISA 2012 E
    • 9. Klasse: keine Schüler*innen an Berufsschulen, n= 153 Schüler*innen an Förderschulen im Datensatz von insgesamt n= 9.998 Schüler*innen
    • 15-Jährige: n= 99 Schüler*innen an Berufsschulen, n= 139 Schüler*innen an Förderschulen im Datensatz von insgesamt n= 5.001 Schüler*innen
    • Schuldatensatz: n= 7 Berufsschulen, n= 12 Förderschulen von insgesamt n= 230 Schulen
  • PISA 2015 E
    • 9. Klasse: keine Schüler*innen an Berufsschulen, n= 165 Schüler*innen an Förderschulen im Datensatz von insgesamt n= 4.149 Schüler*innen
    • 15-Jährige: n= 160 Schüler*innen an Berufsschulen, n= 134 Schüler*innen an Förderschulen im Datensatz von insgesamt n= 6.504 Schüler*innen
    • Schuldatensatz: n= 8 Berufsschulen, n= 12 Förderschulen von insgesamt n= 205 Schulen
  • PISA 2018 E
    • 9. Klasse: keine Schüler*innen an Berufsschulen, n= 115 Schüler*innen an Förderschulen im Datensatz von insgesamt n= 3.567 Schüler*innen
    • 15-Jährige: n= 184 Schüler*innen an Berufsschulen, n= 98 Schüler*innen an Förderschulen im Datensatz von insgesamt n= 5.451 Schüler*innen
    • Schuldatensatz: n= 10 Berufsschulen, n= 7 Förderschulen von insgesamt n= 191 Schulen

Lassen sich Lehrkräfte- und Schüler*innendaten in PISA verknüpfen?

Leider ist eine Verknüpfung nur für die Teildatensätze der 9. Klässler*innen möglich (die Datensätze der 15-Jährigen umfassen schulübergreifende Stichproben). In den meisten PISA-Wellen wurden zwei 9. Klassen gezogen, aber in den Teildatensätzen fehlt häufig eine eindeutige Klassen-ID.

Hier eine Übersicht in Stichpunkten zu den einzelnen PISA-Wellen:

  • PISA 2000: hier wurde kein Lehrkräfte-Fragebogen eingesetzt
  • PISA 2003
    • Teildatensatz "PISA-I-9.Klasse": Lehrkräfte-Fragebögen beinhalten Fragen auf Schulebene, nicht auf Klassenebene; eine Verknüpfung über die Variable [idclass_FDZ] ist möglich, aber im Lehrkräftedatensatz gibt es auf dieser Variable einen hohen Anteil fehlender Werte (vermutlich, da viele Lehrkräfte pro Schule befragt wurden)
    • Teildatensatz "PISA-E": keine Lehrkräftefragebogen vorhanden
  • PISA Plus 2003-2004: eine Verknüpfung ist prinzipiell möglich, aber Lehrkräftedaten müssten aus PISA-2003-Daten herangespielt werden und liegen nur zum ersten Messzeitpunkt vor
  • PISA 2006
    • Teildatensatz "PISA-E": kein Lehrkräftedatensatz für 9.Klassen vorhanden, Verknüpfung nur auf Schulebene möglich
    • Teildatensatz "PISA-I": keine eindeutige Verknüpfung möglich, da im Lehrkräftedatensatz keine Klassen-ID enthalten ist PISA 2009: ebenfalls keine Klassen-ID im Lehrkräftedatensatz, aber Verknüpfung über idsch und Variable [LF39M01] (Deutsch in PISA Klasse unterrichtet: ja vs. nein) teilweise möglich; es wurden allerdings pro Schule zwei 9. Klassen gezogen
  • PISA 2009: ebenfalls keine Klassen-ID im Lehrkräftedatensatz, aber Verknüpfung über idsch und Variable [LF39M01] (Deutsch in PISA Klasse unterrichtet: ja vs. nein) teilweise möglich; es wurden allerdings pro Schule zwei 9. Klassen gezogen
  • PISA 2012: Verknüpfung ist prinzipiell über Variablen zur Klassenbezeichnung möglich (Lehrkräfte-Datensatz: klasse_FDZ; Schüler*innendatensatz: ClassName_FDZ) aber praktisch schwierig zu bewerkstelligen, da Metrik der Schul-ID zwischen beiden Teildatensätzen nicht korrespondiert und auf Variablen zur Klassenbezeichnung hoher Anteil fehlender Werte vorliegt (Erfahrungsberichte der PISA-Mitarbeiter*innen interpretiere ich so, dass Verknüpfung in Mehrheit der Fällen nicht gelingt)
  • PISA 2015: Verknüpfung ist nicht direkt möglich, da alle Lehrkräfte der gezogenen Schulen befragt wurden
  • PISA 2018: Eine Zuordnung zwischen Lehrkräften und Schüler*innen über die Variable "TEACHCLASS_ID" ist bis Ende 2022 aufgrund eines Sperrvermerks nicht möglich. Diese Variable beinhaltet aber auch nur die Information, ob die Lehrkraft eine neunte Klasse unterrichtet hat oder nicht. Das liegt daran, dass nahezu alle Lehrkräfte in der gezogenen Schule befragt wurden. Alternativ kann die Variable "TEACHERID" verwenden werden, aber auch diese Variable ermöglicht keine eindeutige Zuordnung zwischen Schüler*innen und dazugehöriger Lehrkraft.

Für welche PISA-Daten liegt ein Messwiederholungsdatensatz vor?

Ein Messwiederholungsdatensatz liegt für PISA-2003 (PISA-Plus 2003, 2004) und PISA-2012 (PISA-Plus 2012, 2013) vor.

Wie wurden die Tests zur naturwissenschaftlichen Kompetenz in PISA entwickelt?

Im Gegensatz zu den IQB-Ländervergleichen sind die naturwissenschaftlichen Tests in PISA nicht curricular verankert bzw. fachspezifisch konzipiert. Deshalb gibt es in PISA keine Subtests für Biologie, Physik und Chemie. Vielmehr wird in PISA eine naturwissenschaftliche Grundbildung (Scientific Literacy, siehe z. B. OECD, 2006) getestet. Dabei handelt es sich um Fähigkeiten, die in Situationen bedeutsam sind, in denen man mit Naturwissenschaften und Technik konfrontiert ist. Diese Situationen beziehen sich auf physikalische Systeme, lebende Systeme, Erd- und Weltraumsysteme und technologische Systeme. Konkret werden die folgenden Kompetenzen getestet:

a) naturwissenschaftliche Fragestellungen erkennen

b) naturwissenschaftliche Phänomene beschreiben, erklären und vorherzusagen

c) naturwissenschaftliche Evidenz nutzen, um Entscheidungen zu treffen

Nähere Informationen zur Konzeption und zum Test (inklusive Beispielaufgaben) finden Sie hier:

Während bei Anträgen auf die PISA-Daten der Erhebungen 2000, 2003 und 2006 jeweils die deutschen Datensätze aus der internationalen und der nationalen Ergänzungsstudie (PISA-I bzw. PISA-E) gemeinsam ausgeliefert werden, wurde die nationale Ergänzungsstudie mit der Erhebung 2009 durch den IQB-Ländervergleich abgelöst. Dieser wird nicht automatisch mit den Daten der internationalen Studie PISA 2009 mitgeliefert, ist aber auf Antrag ebenfalls am Forschungsdatenzentrum des Instituts zur Qualitätsentwicklung im Bildungswesen erhältlich. Weitere Informationen zum IQB-Ländervergleich in der Primarstufe finden Sie hier, in der Sekundarstufe I hier sowie auf unseren Studienseiten.

Bitte beachten Sie folgende Bedingungen für die Nutzung der PISA-2000-Daten

  1. Folgender Standardtext muss in jeder Veröffentlichung, die den deutschen PISA-2000 Datensatz (PISA-I oder PISA-E) verwendet, erscheinen: "PISA-2000 wurde in Deutschland als nationales Forschungsprogramm konzipiert vom Deutschen PISA-Konsortium (Jürgen Baumert, Eckhard Klieme, Michael Neubrand, Manfred Prenzel, Ulrich Schiefele, Wolfgang Schneider, Klaus-Jürgen Tillmann, Manfred Weiß).  Die Federführung lag bei Professor Dr. Jürgen Baumert, Max-Planck-Institut für Bildungsforschung, Berlin. Ergebnisse der Primärforschung sind u.a. publiziert in Baumert et al., (2001, 2002, 2003). Die Erhebungsinstrumente sind dokumentiert in Kunter et al., (2002). Wir danken dem deutschen PISA-Konsortium und dem Forschungsdatenzentrum (FDZ) in Berlin für die Genehmigung und Unterstützung der Sekundäranalyse." Die in dieser Fußnote genannten Literaturangaben müssen im Literaturverzeichnis in üblicher Form aufgeführt werden.
  2. In Übereinstimmung mit der Zustimmung der Eltern zur Durchführung der Untersuchung PISA-2000 dürfen die in den Datensätzen enthaltenen Informationen zu kognitiven Grundfähigkeiten (KFT) von Schülerinnen und Schülern ausschließlich als Kovariate, nicht als Zielvariablen verwendet werden. Eine deskriptive Darstellung von Verteilungen, insbesondere die Veröffentlichung von Gruppenvergleichen sowie die Benutzung des KFT-Gesamttests oder von Testteilen als abhängige Variablen sind strikt untersagt. Bei Verletzung dieser Vereinbarung muss die betroffene Veröffentlichung mit Hinweis auf Verletzung des Zustimmungsrechts der beteiligten Personen widerrufen werden.
  3. Aufgrund der vom Auftraggeber und dem Konsortium erteilten Zusage der Anonymität der beteiligten Schulen dürfen keine Analysen veröffentlicht werden, in denen einzelne Schulen identifizierbar sind oder identifizierbar gemacht werden können.
  4. Grundlage der Erteilung des Auftrages durch Bund und Länder an das PISA-2000 Konsortium war die Maßgabe, keine schulformbezogenen Leistungsvergleiche zwischen den Ländern durchzuführen. Diese Vereinbarung gilt auch für alle Sekundäranalysen.

Für das Fach Mathematik liegen im Schüler*innendatensatz der 9. Klasse verschiedene PV-Variablen vor. Was ist der Unterschied zwischen den PV-Variablengruppen?

  • [pvxnatm]: Bei diesen PV-Werten handelt es sich um die nationalen Mathematiktests, deren Ergebnisse werden auf einer nationalen Metrik mit dem Mittelwert 100 und der Standardabweichung 30 berichtet.
  • [pvxnatmi]: Diese PVs basieren ebenfalls auf den nationalen Testitems, werden aber auf der internationalen Metrik mit dem Mittelwert 500 und der Standardabweichung 100 berichtet (deshalb korrelieren sie zu eins mit den PVs [pvxnatm]).
  • [pvxmg]: Dabei handelt es sich um den kombinierten Leistungsscore. In diesen Score gehen alle internationalen und alle nationalen Items ein. Laut Skalenhandbuch zur PISA 2000-Studie (Kunter et al., 2002; S. 77ff.; im Skalenhandbuch werden diese Items mit [NPV1MG1D] bezeichnet), wird empfohlen, diese PVs zu nutzen: "Ergebnisse verschiedener Dimensionsanalysen zeigen, dass es angemessen ist, den internationalen und den nationalen Mathematiktest auf einer Gesamtdimension der mathematischen Grundbildung abzubilden" (Kunter et al., 2002; S. 78). Das Skalenhandbuch sowie Ergänzungen zum Skalenhandbuch finden Sie auf unserer Studienseite zu PISA 2000.

Bitte beachten Sie folgende Bedingungen für die Nutzung der PISA-2003-Daten

  1. In Übereinstimmung mit der Zustimmung der Eltern zur Durchführung der Untersuchung PISA-2000 dürfen die in den Datensätzen enthaltenen Informationen zu kognitiven Grundfähigkeiten (KFT) von Schülerinnen und Schülern ausschließlich als Kovariate, nicht als Zielvariablen verwendet werden. Eine deskriptive Darstellung von Verteilungen, insbesondere die Veröffentlichung von Gruppenvergleichen sowie die Benutzung des KFT-Gesamttests oder von Testteilen als abhängige Variablen sind strikt untersagt. Bei Verletzung dieser Vereinbarung muss die betroffene Veröffentlichung mit Hinweis auf Verletzung des Zustimmungsrechts der beteiligten Personen widerrufen werden.
  2. Aufgrund der vom Auftraggeber und dem Konsortium erteilten Zusage der Anonymität der beteiligten Schulen dürfen keine Analysen veröffentlicht werden, in denen einzelne Schulen identifizierbar sind oder identifizierbar gemacht werden können.

Wurden die Lehrkräfte auch zum zweiten Messzeitpunkt erneut befragt?

Ja, diese Information ist jedoch leider nicht im Datensatz enthalten. Sie sind Teil des COACTIV-Projekts, stehen aber leider (noch) nicht für Sekundäranalysen zur Verfügung.

Gibt es Variablen, die die unterrichteten Fächer berücksichtigen?

Die entsprechenden Daten für den Messzeitpunkt (MZP) 1 können dem Lehrerdatensatz der PISA-Studie 2003 (Datensatzname: PISA2003-I_Datensatz_Lehrkraft_9Kl) entnommen und über die Variable [idclass_FDZ] in den PISA-I-Plus-Datensatz 2003-4 übertragen werden. Der PISA-Lehrerdatensatz 2003 enthält jedoch nur Informationen darüber, ob Mathematik ([fama_all]), Deutsch ([fadeu_al]), Physik ([faphy_al]), Biologie ([fabio_al]) oder Chemie ([fache_al) als Unterrichtsfächer verwendet werden (1 = ja).

Enthält die Variable [fama_all] die Angabe, ob es sich um eine Mathematiklehrkraft handelt? Wenn ja, welche Angabe (0/1)? Ist die zugehörige fachspezifische Abschlussnote (Staatsexamen/Hauptexamen) ermittelbar?


Die Variable [fama_all] gibt an, ob die Lehrkraft Mathematik unterrichtet (1 = ja). Leider ist es anhand des im FDZ am IQB verfügbaren Datensatzes nicht möglich, die dem Fach Mathematik entsprechende Abschlussnote zu ermitteln.

Gibt es eine Variable zum Beruf der Eltern?

Im Lehrkräftedatensatz der PISA 2003-Studie sind folgende gruppierte Informationen zum beruflichen Status der Eltern verfügbar:

  • bmut11_1: Berufliche Stellung der Mutter: Beamtin (1 = ja)
  • bmut12_1: Berufliche Stellung der Mutter: Angestellte (1 = ja)
  • bmut13_1: Berufliche Stellung der Mutter: Selbstständig (1 = ja)
  • bvat11_1: Berufliche Stellung des Vaters: Beamter (1 = ja)
  • bvat12_1: Berufliche Stellung des Vaters: Angestellter (1 = ja)
  • bvat13_1: Berufliche Stellung des Vaters: Selbstständig (1 = ja).

Zusätzlich sind die ISCO-Codes (Gruppierung der Berufe) der Eltern im Datensatz enthalten:

  • iscolfm1: ISCO-Code Beruf Mutter
  • iscolff1: ISCO-Code Beruf Vater

Für PISA-I-Plus 2003-4 existiert keine separate Skalendokumentation. Im Schülerfragebogen kamen die gleichen Skalen wie in der PISA 2003-Studie zum Einsatz, so dass die dazugehörige Dokumentation herangezogen werden kann. Nähere Informationen finden Sie auf unserer Seite zur PISA 2003-Studie und auf der Seite des IPN-Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik.

Auf der Website der PISA 2003-Studie können Sie mit freundlicher Genehmigung des Waxmann-Verlages Auszüge aus dem genannten Buch einsehen:

  • Prenzel, M. und Deutsches PISA-Konsortium (2006). PISA 2003: Untersuchungen zur Kompetenzentwicklung im Verlauf eines Schuljahres. Münster u. a.: Waxmann.

Warum gibt es in der PISA 2009-Studie keine Teildatensätze für 15-Jährige und 9. Klässler*innen wie in den anderen PISA-Studien?

Leider haben wir vom datengebenden Konsortium nur die PISA 2009-Daten der Neuntklässler*innen erhalten. Die PISA 2009-Daten der 15-Jährigen sind auf der Seite der OECD frei verfügbar.

Wann wurde in Deutschland die PISA 2009-Testung durchgeführt?

In Deutschland wurde die PISA 2009-Studie im April und Mai 2009 durchgeführt; weitere Informationen zur Durchführung finden Sie im Ergebnisbericht zu PISA 2009 in Deutschland (S. 16ff.), den Sie auf der Studienwebsite finden.

Gibt es die Möglichkeit, bei PISA 2012 die Bundesland-Variable zu bekommen?

Die Bundesland-Variable ist in den Datensätzen enthalten. Wir stellen Ihnen diese Datensatzversion gern im Fernrechenportal JoSuA zur Verfügung. Dazu müssten wir jedoch eine Zusatzvereinbarung mit Ihnen über die Nutzung dieser Datenversion schließen. Dazu setzen Sie sich bitte mit uns in Verbindung. In den Datensätzen der PISA 2015-Studie ist die Bundesland-Variable ebenfalls enthalten.

Besteht bei PISA Plus 2012-13 die Möglichkeit, nicht nur Schüler*innen sondern auch Schulleitungen und Lehrkräfte längsschnittlich zu verlinken?

Leider lassen sich die Lehrkräfte-IDs zwischen den beiden Messzeitpunkten nicht einheitlichen rekodieren, so dass nicht sichergestellt werden kann, ob dieselbe Lehrkraft zu beiden Messzeitpunkten den Fragebogen bearbeitet hat. Das trifft auch auf die Schulleitungen zu, aber zumindest sind die Schul-IDs zwischen beiden Messzeitpunkten verknüpfbar. Somit lassen sich Angaben über die teilnehmenden Schulen längsschnittlich verlinken. Allerdings ist die Anzahl an Items, die in beiden Erhebungen zum Einsatz kamen, relativ gering.

Für PISA Plus 2012-2013 existiert keine separate Skalendokumentation. In der Erhebung kamen die gleichen Skalen wie in der PISA 2012-Studie zum Einsatz, so dass die dazugehörige Dokumentation herangezogen werden kann. Nähere Informationen finden Sie auf unserer Seite zur PISA 2012-Studie und auf der Seite des Zentrums für Internationale Bildungsvergleichsstudien (ZIB).

Wofür stehen die Endungen "TA" und "NA" in den Variablennamen des Schüler*innenfragebogens in PISA 2015?

Die Endungen im Schüler*innenfragebogen indizieren Folgendes:

  • "TA": Es handelt sich um ein Trendanalyse-Item, welches in dieser Form schon mindestens einmal in einer vorherigen PISA-Welle lief.
  • "NA": Diese Endung zeigt an, dass dieses Item noch nie in einem vorherigen PISA-Zyklus zum Einsatz kam.

Nähere Informationen zur Itembenennung findet sich im Technischen Bericht zur PISA 2015-Studie.

Sind Lehrkräfte- und Schüler*innendatensatz in PISA 2015 verknüpfbar?

Leider ist keine genaue Zuordnung möglich, welche Lehrkraft welche/n Schüler*innen unterrichtet. Eine Verknüpfung auf Schulebene ist allerdings möglich.

Internationale Grundschul-Lese-Untersuchung (IGLU) 🔗

Sind die Kompetenzschätzer der PISA-, IGLU- und IQB-LV/BT-Studien miteinander vergleichbar?

Prinzipiell korrelieren die Tests aus PISA und den IQB-Ländervergleichen bzw. IQB-Bildungstrends hoch, aber die zugrunde liegenden Kompetenzmodelle unterscheiden sich. Die IQB-Tests sind an den Bildungsstandards der KMK und damit stärker am Curriculum orientiert als die PISA-Tests. Eine Testung der Vergleichbarkeit ist möglich mit IRT-Methoden auf Basis von Studien, in denen sowohl PISA als auch IQB-LV/IQB-BT Items verwendet wurden. Einige Studien zum Vergleich sind z. B.:

Das Ausmaß der Vergleichbarkeit muss für die Lese- und Mathematikkompetenzen sowie für die Sekundarstufe und Grundschule getrennt betrachtet werden. Auch wenn man davon ausgehen kann, dass sich Länderunterschiede mit beiden Maßen gut abbilden lassen, ist die Analyse von absoluten Trends auf einer gemeinsamen Metrik aber leider nicht möglich.

Was muss bei der Datenanalyse noch beachtet werden?

Ausführlichere methodische Informationen zur Berechnung mit Daten aus groß angelegten Bewertungsumfragen finden Sie im eatRep-Tutorial (englisch).

Für die Fächer Mathematik und Naturwissenschaften liegen verschiedene PV-Variablen als Kompetenzschätzer vor ([matplX] und [linkmatX]). Was ist der Unterschied zwischen den verschiedenen PV-Schätzern?

Bei den PV-Sets [linkmatX] und [linknwX] handelt es sich um transformierte Kompetenzscores, die eine Verlinkung der deutschen Schüler*innenleistungen zur TIMSS-Studie von 1995 ermöglichen sollen. Grundlage des Linkings sind die Items, die sowohl in TIMSS 1995 als auch in IGLU 2001 eingesetzt wurden. Weiterführende Informationen dazu können Sie in den Ergebnisberichten zu IGLU 2001 nachlesen (Bos et al., 2003, 2004, 2005).

Im Skalenhandbuch gibt es keine Informationen zu Noten in den Bereichen Deutsch, Grammatik, Lesen, Rechtschreiben, Mathematik und Sachkunde (zendtsch, grammtik, lesen, rechtsch, zenmathe, zensk). Wie wurden diese Angaben erfasst?

Die Noten wurden über die Schüler*innenteilnahmeliste erfasst. Notenangaben mit Nachkommastellen können daraus resultieren, dass in einigen Bundesländern bzw. Schulen Teilnoten (z. B. Geometrie, Arithmetik) vergeben werden, die in der Schüler*innenteilnahmeliste anschließend zu einer Note gemittelt wurden. Darüber hinaus werden in manchen Bundesländern Teilnoten im Fach Deutsch für Rechtschreiben, Grammatik und Lesen gegeben, die ebenfalls im Datensatz vorliegen (da diese separate Benotung für Teilbereiche im Fach Deutsch nicht in jedem Bundesland bzw. in jeder Schule vergeben werden, sind die Missing-Anteile auf diesen Variablen vergleichsweise hoch). Im Ergebnisbericht zu IGLU 2001 (Bos et al., 2004) wird in Kapitel IX (S. 191; "Schullaufbahnempfehlungen von Lehrkräften für Kinder am Ende der vierten Jahrgangsstufe") kurz auf die Teilnoten eingegangen.

Wo finde ich Informationen zu den erreichten Testscores nach Bundesland?

Informationen zu den erreichten Testscores nach Bundesland in der IGLU 2001-Studie können Sie dem folgenden Ergebnisbericht entnehmen:

  • Bos, W., Lankes, E.-M., Prenzel, P., Schwippert, K., Valtin, R. & Walther, G. (Hrsg.) (2004). IGLU : einige Länder der Bundesrepublik Deutschland im nationalen und internationalen Vergleich. Münster u.a.: Waxmann.

Warum ist die Strichprobe größer als in späteren IGLU-Erhebungen?

2001 entschieden sich die Länder Baden-Württemberg, Bayern, Brandenburg, Bremen, Hessen, Nordrhein-Westfalen und Thüringen für eine Erweiterung der Stichprobe, um repräsentative Ergebnisse zu erhalten (vgl. Bos et al. 2004a). Da die Stichprobe in Thüringen jedoch nicht den Anforderungen einer Zufallsstichprobe genügten, werden in den vergleichenden Analysen von Bos und Kolleg*innen nur die anderen sechs Länder verglichen. Seit 2011 wird der repräsentative Ländervergleich für die Lesekompetenzen von Grundschulkindern stattdessen vom Institut zur Qualitätsentwicklung im Bildungswesen (IQB) durchgeführt.

Warum ist die Strichprobe größer als in späteren IGLU-Erhebungen?

2006 entschieden sich alle Bundesländer für eine Erweiterung der Stichprobe, um repräsentative Ergebnisse für die einzelnen Länder zu erhalten. Seit 2011 wird der repräsentative Ländervergleich für die Lesekompetenzen von Grundschulkindern stattdessen vom Institut zur Qualitätsentwicklung im Bildungswesen (IQB) durchgeführt.

Sind in der Studie Informationen zu Bundesländern verfügbar?

Im Rahmen der Datenerhebung wurden diese Informationen nicht erfasst bzw. nicht vom erhebenden Institut an das Datenkonsortium weitergegeben. Deshalb ist es auf Basis der am FDZ am IQB vorliegenden IGLU 2011-Datensätze nicht möglich, Informationen zum Bundesland nachträglich heranzuspielen.

Wie viele Förderschulen sind Teil der Stichprobe und wo finde ich die Schulart-Variable?

Im Schulleitungs-Datensatz gibt es eine Variable, die die Schulart indiziert: [ACNG32]. In dieser Variable beinhaltet die Kategorie "3 = Andere, und zwar" auch Förderschulen. Darüber hinaus befinden sich auch in der Missing-Kategorie "9 - omitted or invalid" u. a. auch zwei Förderschulen. Wenn Sie in Ihren Analysen Förderschulen nicht berücksichtigen wollen, können Sie die Variable [ACNG32] nutzen und die Kategorien 3 und 9 ausschließen. Insgesamt befinden sich n=5 Förderschulen im Schulleitungs-Datensatz ("IGLU2011_SLFB_SUF_1902-12a.sav").

Wieso ist der Anteil systemdefiniert fehlender Werte bei Variablen aus dem Elternfragebogen so hoch?

Der Anteil "system"-fehlender Werte bei den für Sie relevanten Variablen bezieht sich auf die Nichtteilnahme einzelner Eltern am Fragebogen. Insgesamt n=786 Eltern (19,7%) haben den Fragebogen komplett nicht ausgefüllt. Im Ergebnisbericht (Bos et al., 2012, S. 55) wird darauf wie folgt hingewiesen: "Die Rücklaufquote der Elternfragebögen liegt bei 80 Prozent". Ähnliche Rücklaufquoten findet man auch in anderen Schulleistungsstudien, insbesondere dann, wenn die Teilnahme an den Elternfragebögen freiwillig erfolgte.

Wie werden die Teildatensätze verknüpft?

Für IGLU 2016 liegt bereits ein verknüpfter Lehrer-Schüler*innen-Datensatz vor. Zudem gibt es auch einen Datensatz, in dem nur die Lehrkraftangaben enthalten sind. Der Lehrerdatensatz ermöglicht allerdings KEINE auf nationaler Ebene repräsentativen Aussagen. Im Lehrer-Schüler*innen-Datensatz gibt es 79 doppelte Fälle. Diese werden automatisch berücksichtigt, wenn gewichtete Analysen durchgeführt werden. Eine Verknüpfung von Lehrer-Schüler*innen-Datensatz mit dem Trackingdatensatz per Schüler*innen-ID ist erst möglich nachdem die doppelten Fälle behandelt wurden (z.B. Ausschluss, Zufallsauswahl oder Kombination).

Warum unterscheiden sich die Fallzahlen der Schüler*innen zwischen dem Schüler*innen-Eltern-Datensatz und dem Tracking-Datensatz?

Im Tracking-Datensatz sind alle Schüler*innen enthalten, die in die Stichprobe gezogen wurden. Im Schüler*innen-Elterndatensatz hingegen nur die, die tatsächlich an der Testung teilgenommen haben. Eine Nichtteilnahme kann durch verschiedene Gründe erklärt werden, die im Tracking-Datensatz in der Variable "TR_EXCLUSION_FDZ" zusammengefasst werden. Die Stichprobengröße von n = 3.959 im Schüler*innen-Eltern-Datensatz wird auch im Ergebnisbericht genutzt, deshalb ist es empfehlenswert mit dieser Stichprobengröße zu arbeiten.

Wie wurde die Altersvariable berechnet?

Der Referenzzeitpunkt für die Altersberechnung (Variable "ASDAGE") ist das Testdatum, welches aus Gründen des Datenschutzes geleert wurde. Wenn Sie Fragestellungen bezüglich des Alters zu einem anderen Referenzzeitpunkt planen, wenden Sie sich bitte an uns. Wir beraten Sie gerne zu datenschutzkonformen Nutzungmöglichkeiten unserer Daten.

Skalen zur Klassenführung: Was liegt in den Daten und Berichten vor?

Die Schüler*innen-Eltern- (SEFB) und die Lehrer*innen-Schüler*innen-Daten (LSFB) enthalten je vier Einschätzungsskalen zur Klassenführung im weiteren Sinne (Klassenführung/Disziplin (CM), kognitive Aktivierung (CA), Sozialklima/Unterstützung durch die Lehrkraft (SC) und Strukturierung (STR)). Die zugrundeliegenden Items wurden von den Schüler*innen den Lehrkräften erfragt und sind in den jeweiligen Abschnitten des Skalenhandbuchs dokumentiert.

Für diese Skalen wurde jeweils ein Summenscore der rekodierten Items gebildet. Die Kodiervorschrift ist in Kapitel 9 des Ergebnisberichts (Stahns et al. 2017: 264ff.) beschrieben. Die (vierstufigen) Items wurden dabei zunächst dichotomisiert, indem meist den Ausprägungen 3 und 4 der neue Wert 1 zugeordnet wurde. Den beiden anderen Ausprägungen wurde der Wert 0 zugewiesen. Fehlte die Antwort auf ein Item, weil es entweder ausgelassen (missing by omission) oder nicht valide beantwortet wurde (missing invalid response), wurde ebenfalls der neue Wert 0 zugeordnet. Anschließend wurde ein Summenscore über die Items der Skala gebildet.

Nur Personen, denen die Fragen zur Klassenführung gar nicht präsentiert worden waren, erhielten leere Werte auf den Einzelitems und Summenscores. Im Umkehrschluss liegt ein valider Summenscore für jede Person vor, die die Möglichkeit hatte, die Fragen zu beantworten. Dies bedeutet allerdings auch, dass Personen ohne gültige Antworten auf den Einzelitems dennoch einen gültigen Summenscore von 0 aufweisen. Dies betrifft pro Skala zwischen 80 und 200 Fälle.

Was bedeutet das für Datennutzende?Die auf diese Weise gebildeten Summenscores sind in den Daten enthalten und waren Grundlage der Analysen im IGLU 2016-Berichtsband. Zur Reproduktion dieser Ergebnisse müssen die vorliegenden Summenscores verwendet werden. Um dies zu erleichtern, stellen wir eine Übersicht über die Items, ihre Zuordnung zu den Skalen und die Kodiervorschriften des Berichtskapitels zur Verfügung --> [TABELLE]

  • Stahns, R., Rieser, S. & Lankes, E.-M. (2017). Unterrichtsführung, Sozialklima und kognitive Aktivierung im Deutschunterricht in vierten Klassen. In A. Hußmann, H. Wendt, W. Bos, A. Bremerich-Vos, D. Kasper, E.-M. Lankes et al. (Hrsg.), IGLU 2016. Lesekompetenzen von Grundschulkindern in Deutschland im internationalen Vergleich (S. 251–277). Münster: Waxmann. verfügbar unter https://www.waxmann.com/index.php?eID=download&buchnr=3700

Tutorials 🔗

In diesem Tutorial werden einige der Replikationsanalysen demonstriert, die bspw. für Berichte der IQB-Bildungstrendstudien oder anderer Large Scale Assessment-Daten (PISA, TIMSS) mit dem R-Paket “eatRep” gerechnet werden können. Für die Bestimmung deskriptiver Statistiken, Häufigkeitsverteilungen oder von Parametern linearer bzw. logistischer Regressionen in Datensätzen großer Schulleistungsstudien sind drei Besonderheiten zu berücksichtigen:

1. Der Datensatz stellt keine (echte) Zufallsstichprobe aus der Population dar, da die SchülerInnen nicht proportional zur Häufigkeit gezogen wurden, mit der sie in der Population vertreten sind.

2. Die Ziehungseinheiten (sampling units) in der Stichprobe sind Klassen, keine Individuen. Da sich SchülerInnen innerhalb einer Klasse ähnlicher sind als SchülerInnen verschiedener Klassen, ist die Stichprobe homogener als es eine echte Zufallsstichprobe gleicher Größe wäre.

3. Die interessierenden Variablen (Kompetenzen) sind latent, d. h. nicht direkt beobachtbar. Zudem enthalten viele (auch direkt beobachtete) Variablen fehlende Werte. Die Daten sind daher imputiert.

Das Paket “eatRep” ermöglicht die Bestimmung von Mittelwerten, Häufigkeitsverteilungen, Perzentilen und Regressionen unter Berücksichtigung der geschachtelten und imputierten Stichprobe. Auch Trendanalysen können gerechnet werden. Die oben genannten Besonderheiten werden in dem Paket wie folgt berücksichtigt:

1. Einbeziehung von individuellen Personengewichten

2. Replikationsmethoden (Bootstrap, Jackknife oder “Balanced repeated replicate”-Methoden)

3. Poolen der Ergebnisse entsprechend den Regeln von Rubin (1987).

Es sollen einige typische Analysen beispielhaft demonstriert werden.

Namensnennung nach Richtlinien der Urheber*innen/Bilddatenbanken

  • ©MrcTeamStock via Canva.com