Kurzzusammenfassung des Aufsatzes Wolfgang Schnotz: "An Integrated Model of Text and Picture Comprehension" (in Mayer, Richard E. (Hg.) (2005): The Cambridge handbook of multimedia learning. Cambridge. Cambridge Univ. Press. S. 49-67)
Schnotz stellt das ITPC-Modell vor. Er verbindet darin verschiedene andere Modelle und kognitionspsychologische Konzepte und geht (nach eigenen Aussagen) darüber hinaus:
"The idea of two representational channels and of multiple sensory channels of limited capacity and the idea of a cognitive architecture including multi0ple memory systems will ... be combined into an integrative model of text and picture comprehension. More specifically, the model integrates the concepts of multiple memory systems (Atkinson ...), working memory (Baddeley, 1986 ...), and dual coding (Paivio, 1986). It furthermore integrates the idea of multiple mental representations in text comprehension and in picture comprehension (... van Dijk & Kintsch, 1983). It also integrates ideas from the cognitive theory of multimedia learning (CTML) of Mayer ... and from the model of text and picture comprehension of Schnotz and Bannert ..." (56)
Repräsentationen/Abbildungen in der realen Welt ("External ... Representations")
- "descriptive representations" = Symbole = arbiträr, konventional (s.a. Peirce), keine Ähnlichkeit zu bezeichnetem Ding.
- "depictive representations" = Icons = Analogie zu abgebildetem Ding (52f)
Mentale Repräsentationen ("Internal" oder "Mental Representations")
1. Lesen von Texten Drei mentale Repräsentationsformen: "text-surface" (Oberflächenstruktur), propositionale Repräsentation, mentales Modell (wohl hierarchisch angeordnet, sagt er an dieser Stelle nicht explizit). 2. Beschäftigung mit Bildern Erste Stufe: "perceptual representation" (=bildliche Vorstellung, Abbild), danach zweite Stufe: Konstruktion eines mentalen Modells. Von diesem mentalen Modell können INformationen abgelesen und als Propositionen "encoded" (53) (meint er nicht eher decoded??) werden. Also grundlegende Unterscheidung zwischen "descriptive" und "depictive" (beschreibende und bildliche) Repräsentationen:
- descriptive: Textstruktur, Propositionen -> symbolisch
- depictive: Bild, mentales Modell -> ikonisch ("as they are assumed to have an inherent structure that corresponds to the structure of the subject matter" (54))
Schnotz/Bannert, ähnlich Paivio: Zweikanalmodell
In diesen dual coding Modellen werden wie oben ein sprachliches und ein nicht sprachliches System unterschieden (54). Das impliziert, dass die Gleichzeitigkeit von optischer Text- und Bilddarbietung für den Lernprozess immer konstruktiv ist (s.a. 62).
Schnotz: ITPC-Modell (56)
Schnotz erweitert dieses Modell, indem er die Prozesse auf die verschiedenen Stufen des Gedächtnisses ("multiple memory systems", 55) verteilt. Damit entfällt die Beschränkung auf die zwei Repräsentationstypen, sie wird erweitert um "multiple sensory channels" (nämlich die Eingangskanäle: Auge/Ohr). Außerdem wird der Einfluss des Langzeitgedächtnisses berücksichtigt.

Folgende grundlegende Annahmen
- "Verbale" Informationen (geschriebene oder gesprochene Texte) und "bildliche" Informationen (Bilder, "auditory pictures" (57), Geräusche) werden durch unterschiedliche Kanaäle ins Arbeitsgedächtnis geleitet: visual channel und auditory channel. (Hier ist die sinnliche Ebene gemeint: Außernwahrnehmung -> Gehirn/Arbeitsgedächtnis.
- Die weitere Verarbeitung findet in zwei anderen Kanälen ("two different representational channels:" (57) statt: verbal channel, pictorial channel. (Hier ist die mentale Verarbeitung in propositionale Strukturen oder ein mentales Modell gemeint)
Grundsätzlich - so Schnotz - wird dieses Modell durch die vorliegenden empirischen Studien gestützt, z.B.
- Bild + gesprochener Text = besserer Lerneffekt. Bild + geschriebener Text = kognitive Überforderung/Ablenkung. Wenn Bild + geschriebener Text, dann räumlich möglichst nah beieinander.
"Students learn better from words and pictures than from words alone, if the words and pictures are semantically related to each other (the coherence condition) and if they are presented closely together in space or in time (the contiguity condition) ... If a picture is combined with a spoken text, simultaneous availability of related pictorial and verbal information in working memory is enhanced by simultaneous presentation of the picture and the semantically related part of the text ... because pictorial information can be forwarded through the visual channel at the same time as verbal information is forwarded through the auditory channel ... If a picture is combined with written text, all information has to enter working memory through the visual channel." -> "split of visual attention" (60)
Anmerkung: U.U. wird der Nachteil dieser Ablenkung aufgehoben durch die Möglichkeit, die Lerngeschwindigkeit selbst zu bestimmen? Siehe auch "control-of-processing principle", S. 65 "Various studies have shown that it is better to present a picture before a corresponding text than after the text ..." (61)
- Schlechte Leser oder Leser mit geringem Vorwissen profitieren mehr von Illustrationen in geschriebenen Texten als gute Leser. (62)
- Redundanz ist für den Lerneffekt fatal. Also besser Bild+gesprochener Text als Bild+gesprochener Text + geschriebener Text. (62)
- Die Zweikanaltheorie ("dual-coding theory" (62), s.o.) geht davon aus, dass die KOmbination von Bildern + Text immer zu besseren Lerneffekten führt. Nach dem ITPC-Modell von Schnotz muss man in diesem Fall redundanter Information jedoch mit Interferenz-/Ablenkungsstörungen rechnen.
Folgerungen für das Design von Lernumgebungen
Eine multimediale Lernumgebung muss nach folgenden Prinzipien gestaltet sein (65):
- Multimedia - Kombination aus Text und inhaltlich passenden Bildern (je nach Vorwissen/Leserqualität)
- spatial contiguity principle - räumliche Nähe von Text/Bild
- temporal contiguity principle - gesprochener Text soll zeitnah zur Präsentation des Bildes vorgespielt werden
- modality principle - bei Animationen soll man eher gesprochenen Text anstatt geschriebenen nehmen
- specific redundancy principle - Redundanz von geschriebenem und gesprochenem Text vermeiden (=gleicher Text)