Revista Educación, 2021, 45(1), January-June, ISSN: 0379-7082 / 2215-2644

Revisiones Bibliográficas

Introducción a la semiótica social multimodal y sus aplicaciones para el análisis de contextos escolares

Introduction to Multimodal Social Semiotics and Analysis of Educational Contexts

Carol Flores Solano
Universidad de Costa Rica, Costa Rica

Introducción a la semiótica social multimodal y sus aplicaciones para el análisis de contextos escolares

Revista Educación, vol. 45, núm. 1, pp. 1-29, 2021

Universidad de Costa Rica

Recepción: 19 Julio 2020

Aprobación: 08 Octubre 2020

Resumen: Este artículo introduce los fundamentos de la semiótica social y la multimodalidad, además esboza los puntos de conexión entre ambas disciplinas, los cuales justifican su empleo de forma integrada bajo el marco teórico de la semiótica social multimodal. Asimismo, explora cinco posibles vertientes de investigación que ofrece este enfoque al emplearse para el análisis de interacciones escolares. En estas corrientes, la multimodalidad suele conceptualizarse de forma imprecisa, ya sea como nuevos tipos de textos, productos textuales generados mediante el uso de tecnologías o como una perspectiva pedagógica para diseñar actividades didácticas. Ante este panorama tan difuso, la escasez de trabajos en lengua española sobre los vínculos entre ambas áreas y el número creciente de estudios que aplican dicho marco a casos específicos de enseñanza, este artículo busca aclarar dichas nociones y argumentar el uso de la semiótica social multimodal para la investigación de la semiosis en contextos educativos.

Palabras clave: Semiótica social, Multimodalidad, Contexto escolar, Alfabetizaciones múltiples.

Abstract: This introduction to social semiotics and multimodality outlines the connection between both disciplines for use in a multimodal social semiotic theoretical framework. Five possible research options are examined under this focus to analyze school interactions. Multimodality is often conceptualized imprecisely as a new type of text, textual products generated through the use of technology or a pedagogical perspective for designing educational activities. Given this broad disciplinary spectrum, the scarcity of related publications in Spanish and the growing number of studies applicable to this framework in the field of education this articles addresses the advantages of multimodal social semiotics for analyzing semiosis in educational settings.

Keywords: Social Semiotics, Multimodality, Educational Setting, Multiliteracy.

I. Introducción

En el ámbito latinoamericano, la producción de estudios desde la semiótica social y multimodalidad ha ido en aumento, más profusamente, en el ámbito educativo y con una naturaleza claramente aplicada. Son pocos los trabajos que ofrecen una reflexión teórico-metodológica de ambas como áreas de estudio (Maturana y Ow, 2016) y numerosos aquellos que ofrecen los resultados prácticos del análisis multimodal en disciplinas escolares específicas (Manghi y Badillo, 2015; Manghi, Badillo y Villacura, 2014; Altamirano, Godoy, Manghi y Soto, 2014; Manghi et al., 2013; Manghi, 2010, 2013a, 2013b, 2013c; Manghi y Cordova, 2011; Ruiz y Cardona, 2019, Flores, 2019; Monsalve, 2015). También, el análisis multimodal se ha utilizado para promover la inclusión educativa (Manghi, Arancibia, Illanes, Herrera y Zamora, 2014; Arancibia, Illanes y Manghi, 2015; Godoy, Manghi, Soto y Aranda, 2015).

Estos trabajos tienen como hito mostrar los resultados de la implementación teórico-metodológica de dicho enfoque, de forma contextualizada, a interacciones educativas latinoamericanas, y caracterizar los procesos de semiosis según discursos escolares y entornos socioculturales específicos. Además, sus hallazgos y conclusiones constituyen un aporte indiscutible al desarrollo epistemológico latinoamericano de la semiótica social multimodal, en especial porque la mayor parte de la bibliografía disponible y los estudios revisados en este artículo provienen del mundo anglosajón.

Como contrapunto, estos trabajos no profundizan en los constructos subyacentes a la semiótica social multimodal. Además, si bien numerosos de sus fundamentos se exponen en el cuerpo de las investigaciones, estos no se construyen desde la semiótica social como tal, sino de la multimodalidad. Por lo tanto, aunque utilizan muchas nociones de la primera, resulta difícil identificar sus conexiones con la segunda y reconstruir, de modo integrativo, la articulación de ambas áreas como un aparato teórico para el análisis de un espectro todavía más amplio de prácticas educativas.

En este contexto, este artículo se propone realizar, en primer lugar, una introducción a la semiótica social y a la multimodalidad como áreas de estudio, y argumentar su articulación bajo el marco teórico de la semiótica social multimodal. En segundo lugar, expone cinco posibles vertientes de investigación que esta perspectiva integrada ofrece para analizar los procesos de representación e interacciones comunicativas en entornos escolares. En última instancia, mediante el cumplimiento de los propósitos anteriores, este trabajo busca enriquecer la fundamentación teórica de las investigaciones previas y sugerir nuevas rutas para la aplicación de la semiótica social multimodal en contextos educativos.

II. Metodología

Este trabajo lleva a cabo una revisión bibliográfica de fuentes teóricas y metodológicas relacionadas con la semiótica social (Hodge y Kress, 1988; Kress, 2010; van Leeuwen, 2005) y la multimodalidad (Bateman, 2008; Bezemer y Kress, 2015; Jewitt, Bezemer y O'Halloran 2016; Böck y Pachler, 2013), a fin de argumentar la integración de ambas ramas como marco teórico. Para desarrollar las vertientes de investigación en entornos escolares, se efectúa, asimismo, una revisión de estudios previos con el propósito de ilustrar su naturaleza, exponer el tipo de hallazgos y ofrecer un cuerpo de referencias bibliográficas de interés.

III. Resultados

Si bien pueden aparecer como campos de estudio distintos, como semiótica social (van Leeuwen, 2005) o discurso multimodal (Kress y van Leeuwen, 2001), este artículo apoya una visión integradora bajo el término semiótica social multimodal (Kress, 2010; Kress et al, 2001; Bezemer y Kress, 2015). Desde esta perspectiva, ambas ramas enfatizan dos aspectos distintos de la semiosis: la semiótica social explica la creación de significados a partir del uso de los recursos semióticos en contextos sociales; la multimodalidad enfatiza los modos y medios[1]mediante los cuales esta semiosis social toma lugar.

La semiótica social analiza, desde una mirada general, los procesos de comunicación y representación en las prácticas sociales (Kress y van Leeuwen, 2001; van Leeuwen, 2005; Kress, 2010). Considera la creación de significados como un proceso social, pues ocurre en relación con las interacciones comunicativas a lo interno de los grupos culturales, la procedencia y modelación social de los recursos de significación y las regularidades en su uso social. Este último crea los significados y, a la inversa, la creación de los significados se ve afectada por el uso social.

La semiótica es social, puesto que los significados provienen de su realización social, de los entornos sociales e interacciones en las que ocurre el signo (van Leeuwen, 2005, Kress, 2010; Bezemer y Kress, 2015). Por este motivo se estudian dentro de la situación comunicativa en la cual se emplean, en relación con los intereses de su creador. “Lo social se convierte en la fuente, el origen y el generativo del significado (…) de los procesos y formas semióticas. Por esta razón, esta es una teoría del significado semiótica – social.” (Kress, 2010, p.54, traducción propia).

La multimodalidad subraya, dentro de esta mirada panorámica, que la creación de significados ocurre a través de múltiples modos semióticos. Por lo tanto, puede concebirse como una mirada hacia los procesos de representación y comunicación, los eventos y productos semióticos, que advierte sobre la presencia de múltiples recursos de creación de significados. Se enfoca en los textos multimodales, en los modos y medios que los constituyen, y las prácticas comunicativas en las cuales se utilizan (Kress y van Leeuwen, 2001, Kress, 2010; Bezemer y Kress, 2015). De esta manera, ofrece una orientación de análisis más formal, al detenerse en los significantes, las formas – los modos – que se emplean para articular y comunicar los signos en las prácticas sociales.

Al articularse con la semiótica social, la multimodalidad desliga la noción de texto del ámbito meramente discursivo para comprenderlo en términos de prácticas sociales (Kress, 2010). Así, como texto multimodal puede interpretarse cualquier “fenómeno sociocultural, cuyos significados discursivos se realizan mediante la articulación de dos o más modos semióticos” (Kress y van Leeuwen, 2001, p.40, traducción propia). Esta definición incluye las articulaciones de los discursos en objetos que poseen la forma de un texto más convencional, por ejemplo, las publicaciones en forma de revistas; pero también una amplia gama de formas de interacción humana con una apariencia textual menos típica, por ejemplo, prácticas, productos y eventos socioculturales (van Leeuwen, 2005; Kress, 2010).

Desde la visión multimodal, la cultura organiza y modela los medios materiales en forma de “una gama de sistemas de creación de significados, modos, con el fin de articular los significados que demandan las necesidades prácticas y sociales de las distintas comunidades” (Kress et al, 2001, p.14, traducción propia). El empleo de diferentes modos implica, en primer lugar, que los significados se elaboran de forma distinta, según el modo de representación que los articula. No son iguales ni se comprenden de la misma manera por todos los intérpretes. En segundo lugar, los significados lingüísticos – elaborados ya sea mediante habla o escritura – se entrelazan con otros creados en modos distintos en el contexto comunicativo; esta interacción en sí misma produce significado (Kress et al, 2001).

Si bien advierte sobre la existencia de múltiples modos semióticos, la rama de la multimodalidad no puede dar cuenta, por sí misma, de los significados de los textos multimodales, únicamente al describir los recursos semióticos que los integran, sus interrelaciones y las decisiones semióticas. Para explicarlos es necesario recurrir a la semiótica social (Kress, 2010, Bezemer y Kress, 2015), que los analiza en relación con el uso social dentro de contextos comunicativos específicos, las necesidades de representación y comunicación, y los intereses de las entidades creadoras de signos. De esta forma, la semiótica social explica la creación de signos y los significados producidos; la multimodalidad, los recursos que se emplean en estos procesos.

En síntesis, la semiótica social estudia las prácticas sociales y explica la creación de significados mediante procesos de representación y comunicación. La multimodalidad, por su parte, llama la atención sobre los múltiples recursos – modos – empleados para la significación en estos procesos. La primera se ocupa de la modelación del significado, los discursos y géneros disponibles, los textos multimodales y su funcionamiento. Mientras que la multimodalidad estudia los potenciales de significado de cada modo en particular, así como de su aparición orquestada, y de los distintos medios semióticos (Kress et al, 2001, van Leeuwen, 2005; Kress, 2010; Bezemer y Kress, 2015).

Esta conexión es la que justifica la integración de ambas ramas bajo el marco teórico de la semiótica social multimodal y subraya la complementariedad de los dos ámbitos. Por un lado, la semiosis no puede disociarse de los modos que la realizan en contextos sociales. Por el otro, los modos no pueden concebirse sino como recursos, disponibles social y culturalmente, para la semiosis, cuyos significados solo pueden explicarse desde su empleo social.

Para la semiótica social multimodal, la creación de significados, además de social, es inherentemente multimodal, pues ocurre no a través de uno, sino de los múltiples recursos semióticos disponibles en una cultura (Kress y van Leeuwen, 2001; Kress, 2010; Bezemer y Kress, 2015). La multimodalidad es social, pues los recursos culturales se definen como modos según se reconocen socialmente, y sus alcances de significado se modelan a través de los usos sociales. Además, los significados existen, únicamente en su realización social, en el empleo de los signos en contextos comunicativos específicos y los intereses de un grupo cultural (Kress y van Leeuwen, 2001; van Leeuwen, 2005; Kress, 2010).

Introducida la semiótica social multimodal[2] como disciplina, seguidamente, se exponen cinco posibilidades de investigación que esta ofrece, al emplearse para el análisis de los procesos de representación y comunicación en entornos escolares. La Tabla 1 sintetiza estas vertientes y provee una breve explicación sobre los intereses de los estudios incluidos:

Tabla 1
Vertientes de investigación de la semiótica social multimodal en entornos escolares
Multimodalidad y alfabetizaciones múltiplesFormación docente para una enseñanza multimodalAnálisis de las interacciones de aula desde la perspectiva multimodalEnseñanza multimodal de la escrituraMultimodalidad y enseñanza de la literatura
Sostienen la relevancia de la semiótica social multimodal para la actualización de los procesos educativos, cambios curriculares y modificaciones en los paradigmas educativos.Capacitan a las personas docentes en materia de multimodalidad y alfabetizaciones múltiples, y ofrecen insumos para la propia alfabetización multimedia y digital del profesorado.Describen la interacción de clase, la actuación docente y los procesos de semiosis desde una visión multimodal y según en asignaturas escolares específicas.Redefinen la escritura como un proceso de diseño de textos multimodales y sugieren prácticas de escritura multimodal en el aula que involucran el uso de tecnologías.Redefinen el concepto de literatura a partir de un enfoque multimodal del texto y motivan prácticas de alfabetización literaria a través de medios digitales y estrategias didácticas multimodales.
Fuente: Elaboración propia.

La primera vertiente de investigación se enfoca en multimodalidad y alfabetizaciones múltiples. Esta explora vínculos entre la producción multimodal del conocimiento en los entornos socioculturales contemporáneos y los subsecuentes ajustes que requieren las prácticas de alfabetización tradicional – predominantemente concebidas desde el sistema modal lingüístico –, las cuales deben reelaborarse bajo la noción de alfabetizaciones múltiples (Cope y Kalantzis, 2000, 2009; Kress, 2003; Bezemer y Kress, 2015; Jenkins, Purushotma, Weigel, Clinton y Robison,, 2006; Jewitt, 2006, 2017).

Esta corriente busca contextualizar el nacimiento del enfoque de la multimodalidad, y la sitúan en el auge de las tecnologías de la comunicación y la información, y los cambios en los modos de representación del conocimiento y las prácticas sociales que implica el uso de las tecnologías. Por lo tanto, sus investigaciones reflexionan acerca de la reconfiguración que evidencian los recursos representacionales y comunicativos en forma de textos multimodales, debido a los cambios en la globalización, el flujo de información y las prácticas digitales.

Los estudios de esta vertiente se aproximan con renovado interés investigativo a la diversidad y complejidad de los textos contemporáneos, los cuales no solamente comprenden elementos lingüísticos, sino que constituyen formas no lingüísticas, multimodales de representación y comunicación; particularmente cuando se trata de textos producidos mediante tecnologías (Jewitt, 2006; Bezemer y Kress, 2015). Luego, se abocan por la caracterización con fines pedagógicos de estos últimos y, principalmente, a explorar el impacto de estas modificaciones semióticas en el concepto de alfabetización (Kalantzis, Cope, Chan y Dalley, 2016).

Precisamente, el concepto de alfabetizaciones múltiples justifica el vínculo entre multimodalidad y educación. La conciencia sobre la naturaleza multimodal de la semiosis, los actos comunicativos y de las interacciones sociales, junto con el carácter multimodal de los textos y prácticas semióticas, exigen a estudiantes y docentes desarrollar las competencias para crear, interpretar y criticar estos textos dentro de los marcos culturales que los albergan. La multimodalidad, en un contexto educativo, implica las alfabetizaciones múltiples.

Puesto que esta vertiente considera los cambios en las prácticas comunicativas y semióticas debido a la incorporación de las nuevas tecnologías, gran parte de los estudios se centran en estas últimas y analizan las posibilidades de representación multimodal que ofrecen las herramientas tecnológicas en contextos educativos (Area y Pessoa, 2012). En algunos casos, la multimodalidad se estudia a través de medios digitales (dispositivos de pantalla y software) como mediadores de la enseñanza (Denning, Griswold, Simon y Wilkerson, 2006), y se analiza el impacto de disponer múltiples modalidades sobre el aprendizaje y la comunicación durante las lecciones (García-Vera, 2007).

En otros casos, se estudia el impacto de las tecnologías de la información y la comunicación (TIC) en los procesos de producción e interpretación de la lengua (Gilakjani, Ismail y Ahmadi, 2011). Así, se discute sobre el uso de aquellas para la alfabetización, el aprendizaje multimedia y su carácter multimodal (Guitiérrez y Tyner, 2012). Incluso, algunos estudios constituyen textos con orientaciones prácticas para el profesorado sobre cómo integrar el uso de las tecnologías en el aula con fines de diseño multimodal; los cuales introducen las bases teóricas de dicho enfoque y sugieren estrategias para la alfabetización mediante el uso de las tecnologías (García–Vera, 2007; Anstey y Bull, 2010; Dalton, 2012; Dalton y Jocius, 2013).

Una segunda rama de aplicación de la semiótica social multimodal concierne a la formación docente para una enseñanza multimodal. Esta vertiente busca generar cambios en las prácticas de alfabetización de las personas docentes, como resultado de su participación en proyectos de aprendizaje profesional multimodal. Así, se enfocan en la formación en multimodalidad del profesorado, como estrategia para que sus prácticas de enseñanza incorporen las alfabetizaciones múltiples (Edwards–Groves, 2012; Cloonan, 2008, 2011; Anstey y Bull, 2010, Dalton y Jocius, 2013).

Estos estudios proponen la capacitación profesional docente en forma de consultorías y espacios de diálogo colaborativo sobre multimodalidad, alfabetización digital y prácticas de escritura multimodal contemporáneas (Cloonan, 2008; Edwards – Groves, 2012). Además, se enfocan en brindar orientaciones prácticas para las personas docentes respecto de cómo integrar el uso de las tecnologías en el aula con fines de diseño multimodal (Anstey y Bull, 2010; Dalton, 2012, Dalton y Jocius, 2013). Así, introducen las bases teóricas del enfoque multimodal y sugieren estrategias para su incorporación efectiva en el trabajo de clase mediante el uso de las tecnologías.

A raíz del vínculo que establece esta corriente entre multimodalidad e implementación tecnológica, dicha vertiente permite identificar vacíos entre la incorporación de las alfabetizaciones múltiples y las prácticas pedagógicas multimodales concretas de las personas docentes en el aula, cuando son mediadas por tecnologías. Algunos estudios indican que, aunque las personas docentes reciben equipo tecnológico, cuentan con redes de desarrollo profesional para promover la integración de la tecnología y la multimodalidad en la enseñanza, y muestran un gran interés, sus prácticas pedagógicas no varían sustancialmente de la alfabetización tradicional (Cloonan, 2008; Edwards-Groves, 2012).

Otros trabajos (Anstey y Bull, 2010; Darrington y Dousay, 2015) indican varias razones por las cuales las personas docentes rehúyen trabajar con textos multimodales y ponen en evidencia aspectos críticos por mejorar durante su formación. Por un lado, las personas docentes suelen asociar, de forma unívoca, los textos multimodales con las tecnologías y pueden mostrarse reacios a utilizarlos si no poseen suficiente dominio y experiencia con las TIC (Anstey y Bull, 2010; Darrington y Dousay, 2015). Además, se enfrentan a la dificultad de definir criterios de evaluación para asignaciones multimodales, debido al nivel de abstracción de su terminología, la falta de categorías teórico – metodológicas unificadas y la dificultad de trasladarlas para fines educativos (Cloonan, 2011; Darrington y Dousay, 2015).

Por este motivo, estudios dentro de esta corriente se enfocan en atenuar esta grieta entre la necesidad de incorporar textos y prácticas multimodales en el aula, y la ausencia de una formación profesional que permita a docentes implementar la creación de significados en aula con textos de este tipo (Cloonan, 2011). Como resultado, desarrollan metalenguajes de análisis multimodal aptos para su uso escolar, a fin de describir, analizar y articular los modos, estructuras, rasgos y significados que se despliegan en dichos textos (Cloonan, 2008, 2011; Archer, 2010; Dalton, 2012; Dalton y Jocius, 2013; Macnaught, 2018).

Otras investigaciones dentro de esta vertiente (Cloonan, 2008, Elliott-Johns, 2011) ofrecen capacitaciones a las personas docentes con el propósito de que incorporen la noción de alfabetizaciones múltiples en sus prácticas pedagógicas. Destaca el hecho de que, tras capacitarse, las personas docentes suelen adaptar la visión multimodal a sus contextos pedagógicos y modificar sus estrategias didácticas desde el modo lingüístico y medio impreso, hacia prácticas multimodales. De esta manera abordan más recursos de creación de significados en las clases como parte de la alfabetización, además del lingüístico.

A través de capacitaciones, estas investigaciones son capaces de registrar cambios en el concepto de alfabetización, el cual se expande para incluir los alcances semióticos de otros modos distintos del lingüístico y conferir importancia a sus potenciales de creación de significados, tanto de forma aislada como en conjunto. Estos estudios reúnen esfuerzos por formar al profesorado en materia de alfabetizaciones múltiples, lo cual implica llamar su atención sobre la capacidad para crear significados a partir de distintos recursos semióticos y al establecer conexiones significativas entre multimodalidad, conocimientos y experiencias.

A diferencia de los anteriores, destaca el estudio de Lim y O’Halloran (2012), quienes analizan, desde una perspectiva multimodal, la construcción ideológica de la figura del profesorado en anuncios televisivos para el reclutamiento de docentes. Para ello articulan el análisis cinematográfico con principios de la semiótica social y la multimodalidad. Según los resultados, las personas docentes son representadas de una forma ideal y se convierten en un producto mercantilizado, para comercializarse al público. Así, en estos anuncios – en tanto textos multimodales – confluye el discurso de la educación, el discurso de la venta y el marketing.

La tercera vertiente de investigación realiza análisis, desde la perspectiva multimodal, de las interacciones de aula, para lo cual se identifican los géneros empleados en la enseñanza (Martin y Rose, 2008), junto con las combinaciones modales y mediales que despliegan las personas docentes en su instanciación. Dentro de este grupo, se ha caracterizado multimodalmente la medición pedagógica en asignaturas como historia (Manghi, 2013a, 2013b; Manghi y Badillo, 2015; Manghi, Badillo y Villacura, 2014), biología (Manghi, 2013a; 2013b, Manghi y Córdova, 2011), matemática (Manghi, 2013c; Manghi, 2010), y español (Flores, 2019).

Estos estudios parten de la existencia de procesos de recontextualización de los discursos científicos primarios, los cuales se reconstruyen cuando son llevados al ámbito pedagógico (Bernstein, 2000). Definen a las personas docentes como usuarias de sistemas semióticos, quienes emplean los recursos disponibles con el objetivo de construir relaciones lógicas entre entidades abstractas (Halliday y Martin, 1993) según la naturaleza del conocimiento de cada disciplina, ya sea historia (Martin, Maton y Matruglio, 2010), biología (Halliday y Martin, 1993) o matemática (Lemke, 1998; Duval, 2000; O’Halloran, 2005, 2007).

Metodológicamente, todas estas investigaciones desarrollan estudios de caso múltiples de tipo cualitativo. Sus corpus están conformados por grabaciones en video de uno a tres docentes por cada asignatura, quienes imparten sus lecciones a una población de educación secundaria. El análisis multimodal radica en identificar los múltiples recursos semióticos que emplean las personas docentes a lo interno de sus interacciones pedagógicas; investigar los significados que crean estas modalidades en su instanciación orquestada, y esclarecer su incidencia en la construcción de los discursos disciplinares.

Las investigaciones de esta vertiente muestran una importante influencia de la lingüística sistémico-funcional (LSF en adelante), la cual se expande hacia una gramática no logocéntrica (Kress y van Leeuwen, 1996 y 2001). Así, para el análisis de las interacciones, recurren a tres perspectivas teóricas complementarias: la semiótica social (Halliday, 1982; Hodge y Kress, 1988; Kress, 2010), la LSF (Halliday, 1985) y la perspectiva multimodal sobre la representación y la comunicación (Kress y van Leeuwen, 2001; van Leeuwen, 2005; Jewitt, 2008). En concordancia, emplean como herramientas teóricas la semántica del discurso (Martin y Rose, 2007), las metafunciones de creación de significados (Halliday,1982) y la gramática visual (Kress y van Leeuwen, 1996).

Como categorías teórico – metodológicas destacan la noción de género, en tanto configuración social de significados con fases y un propósito social (Martin y Rose, 2008), su tipología en contextos escolares (Martin y Rose, 2007; Christie y Derwianka, 2010), la noción de género y macrogénero curricular (Christie, 2002). El género se considera como un proceso social y se describe desde una visión multimodal con el fin de identificar los recursos semióticos utilizados en cada una de sus fases y sus convenciones de significado en el ámbito pedagógico. Así, esta noción permite, a esta corriente investigativa, dar cuenta de etapas en la mediación con objetivos de representación y de la oralidad; se consideran todos aquellos recursos semióticos que cumplen propósitos de comunicación y representación de los discursos escolares: escritura, gestos, movimientos, esquemas, gráficos, fotos, dibujos, fórmulas, etc. (Manghi, 2013a, 2013b, 2013c; Manghi y Badillo, 2015; Manghi, Badillo y Villacura, 2014; Manghi y Cordova, 2011; Manghi, 2010). Además, se define texto multimodal como “cualquier texto que significa a través de la interacción de más de un recurso, puede ser definido independiente del medio – interacción cara a cara, impreso o electrónico – en el cual se distribuya” (Manghi, 2013a, p. 10).

Precisamente, en concordancia con la definición expuesta antes en este artículo, esta vertiente de estudios considera la actuación del profesorado como un texto multimodal y complejo en sí mismo, debido a que se construye mediante múltiples recursos semióticos. Además, destaca la naturaleza dinámica o construcción contingente del discurso escolar, la cual responde directamente que se reconstruye a través de una interacción cara a cara entre docente y estudiantado (Manghi, 2010; Manghi, 2013c; Flores, 2019). Esta última le confiere una articulación circunstancial y progresiva, en tiempo real, a los contenidos curriculares, modos y medios, en presencia de las personas participantes. Por lo tanto, se opone a la mediación a través de textos estáticos impresos, como el manual escolar.

Como resultados, en clases de historia, esta corriente investigativa ha elaborado descripciones de cinco géneros: relato histórico, explicación de las causas (Manghi, 2013a, Manghi, Badillo y Villacura, 2014, Manghi y Badillo, 2015); género metahistórico, modelamiento de interpretación histórica y género procedimental (Manghi, Badillo y Villacura, 2014). En la enseñanza de la biología, los géneros identificados fueron las definiciones y las explicaciones secuenciales (Manghi y Córdova, 2011, Manghi, 2013a).

En clases de matemática se han descrito el microgénero modelaje de procedimiento y el género análisis de razonamiento. Finalmente, en la asignatura de español, se identificaron los géneros: trabajo del estudiantado, revisión, entrevista, lectura en conjunto y exposición docente (Flores, 2019). Estos hallazgos reconocen la naturaleza multimodal y contingente de los discursos disciplinares, y dan cuenta de los procesos de recontextualización que toman lugar durante la enseñanza, esto a través de la figura de la persona docente. Además, consigue detallar el diseño semiótico completo de la unidad, al describir los artefactos semióticos multimodales en actividades didácticas y lapsos específicos de la interacción.

La cuarta vertiente de investigación se centra en la enseñanza multimodal de la escritura, predominantemente, a través del empleo de las tecnologías. Su principal aporte consiste en redefinir la escritura impresa como un proceso de diseño de textos multimodales mediante la integración de la tecnología en el aula, y mostrar ejemplos y propuestas concretas de alfabetización digital. Así, la escritura se deja de concebir desde el modo lingüístico y el medio escrito impreso para construirla como un proceso de diseño multimodal, a partir del empleo de múltiples modos semióticos en proyectos que involucran las tecnologías digitales (Dalton, 2012; Edwards-Groves, 2012; Beavis, 2013; Dalton y Jocius, 2013).

En estas investigaciones, el concepto de escritura se reelabora a partir de dos rasgos básicos: la multimodalidad, al considerar de un mayor número de recursos semióticos que posibilita el uso de las tecnologías, y el empleo de tecnologías, propiamente, al subrayar la producción y difusión digital del texto. Incluso, el proceso de escritura se llega a homologar con la creación de contenidos para su difusión en línea (Edwards-Groves, 2012), debido a que las y los estudiantes se involucran en usos cada vez más creativos de los recursos semióticos, por ejemplo, en blogs o plataformas como Twitter, Instagram, Facebook y YouTube.

Desde esta perspectiva, escribir comprende conocimientos explícitos sobre el uso de la pantalla, las alfabetizaciones múltiples y elementos de diseño, los cuales implican articular significados lingüísticos, visuales, espaciales, gestuales y auditivos en un proceso de escritura multimodal (Edwards-Groves, 2012). En concordancia, la construcción de textos implica un amplio espectro de habilidades multimodales, que incluyen la familiarización del creador de signos con un vasto repertorio de recursos semióticos, y su empleo en un diseño textual que los combine y muestre rasgos de todos estos recursos.

Numerosos estudios en esta vertiente evidencian una naturaleza aplicada y asignan tareas de escritura multimodal, en las que las y los estudiantes deben crear producciones escritas que combinen modos verbales escritos y visuales (Archer, 2010, Dalton, 2012) o proyectos de escritura que empleen multimedia y generen resultados con múltiples recursos semióticos distintos (Gilakjani et al, 2011, Edwards-Groves, 2012; Dalton, 2012; Dalton y Jocius, 2013, Howell, Reinking y Kaminski, 2015). El carácter multimodal de la tarea radica en representar los contenidos en modos semióticos distintos del lingüístico – por ejemplo, video, imágenes fijas, sonidos, música –, usualmente, a través del uso de tecnologías.

Estas tareas de producción de textos multimodales implican desplazamientos de los significados entre modos, los cuales conllevan cambios en la representación discursiva. Es decir, comprenden procesos de resemiotización (Iedema, 2003) y transducción semiótica (Kress, 2010; Newfield, 2014), por cuanto los significados se desplazan de un lugar a otro, y dicha movilización responde a motivaciones comunicativas específicas. En ese sentido, la escritura multimodal conlleva, a su vez, la alfabetización del estudiantado para la movilidad semiótica (Newfield, 2015), a fin de articular textos al considerar el paso de significado entre modos y las subsecuentes implicaciones representacionales.

Reformular las tareas de escritura como un proceso multimodal ha probado ser sumamente valioso como alternativa para asignar trabajos de producción escrita (Archer, 2010; Dalton, 2012; Beavis, 2013; Edwards-Groves, 2012) y en cuanto a la motivación hacia el aprendizaje, pues consigue un mayor compromiso por parte de las y los alumnos (Darrington y Dousay, 2015; Howell et al, 2015). De acuerdo con los resultados, estas tareas motivan más a las y los estudiantes hacia la escritura que aquellas tareas de corte tradicional; lo cual fortalece la reelaboración de esta última como un proceso multimodal y tecnológico.

En contraste, otros estudios de esta vertiente discuten los resultados positivos de las tareas de escritura multimodales, especialmente, en lo relativo a su complejidad, y sostienen que pueden desmotivar al alumnado hacia la escritura (Darrington y Dousay, 2015). Estas tareas requieren el manejo de una amplia variedad de recursos semióticos, cuya articulación en un texto es, usualmente, más complicada que una asignación de escritura tradicional en formato impreso, y requiere un mayor procesamiento por parte del alumnado. Por tanto, este puede sentirse abrumado al ver que crear un texto escrito requiere no solo organizar el contenido discursivo, sino llevar a cabo tareas de diseño multimodal.

Además, se destacan contrapuntos importantes respecto del uso de la tecnología en proyectos de escritura multimodales (Nair, Tay y Koh, 2013; Darrington y Dousay, 2015). Se sugiere que, aunque el alumnado se siente inicialmente más motivado en asignaciones de escritura multimodal mediante las tecnologías, su nivel de compromiso es menor en formato digital comparado con el formato impreso, por lo que no terminan sus tareas. Así, se debe considerar que el formato electrónico no motiva por igual a toda la población estudiantil y, en algunas ocasiones, puede desestimularla.

Por último, antes de orientarse por completo hacia un concepto multimodal – digital de la escritura, varios de los estudios analizados abogan por una integración de las posibilidades semióticas de los recursos impresos con los alcances de representación de la tecnología (Dalton, 2012; Edwards–Groves, 2012; Dalton y Jocius, 2013; Beavis, 2013). Este es un gran acierto por parte de estas investigaciones, ya que sugieren que las habilidades de escritura no se reemplazan por otras nuevas, sino que se expanden para dar cuenta de los cambios en las prácticas de alfabetización y avances tecnológicos.

La quinta vertiente de investigaciones se ocupa de los vínculos entre multimodalidad y enseñanza de la literatura. Destaca por problematizar el concepto de literatura a partir de un enfoque multimodal del texto y las producciones semióticas (Russell y Beavis, 2012; Beavis, 2013). Así, lo literario y los aspectos que se incluyen dentro de esta categoría resultan poco claros en un contexto donde la experiencia literaria vincula cada vez más los formatos digitales e impresos al mismo tiempo, y donde las prácticas sociales y la alfabetización se definen a partir de rasgos multimodales (Beavis, 2013; Gibbons, 2008).

Según los estudios (Beavis, 2013; Gibbons, 2008), la literatura coexiste, canónicamente, como texto en medio escrito, con otras formas multimodales de textos que se consideran literarios y que deben interpretarse, evaluarse y crearse en el aula. Por esta razón, una visión exclusivamente lingüística de la literatura es insostenible, pues contradice las diversas y múltiples formas de construcción de significados en las sociedades contemporáneas, y la presencia de las formas literarias digitales y multimodales, junto con las formas tradicionales impresas.

En estas investigaciones (Gibbons, 2008; Elliott-Johns, 2011; Barra y Muñoz, 2013; Beavis, 2013; Signes, 2014), lo literario se reelabora a partir de dos rasgos fundamentales. En primer lugar, la inclusión de un mayor número de recursos semióticos como parte de las formas textuales; los cuales expanden el concepto de texto. En segundo lugar, se encuentra estrechamente vinculado con el empleo de nuevas tecnologías, debido a que estas incrementan los recursos semióticos que forman parte de los textos escritos.

Ante la amplia gama de recursos, estas investigaciones (Gibbons, 2008; Edwards-Groves, 2012; Beavis, 2013) coinciden con aquellas en la enseñanza de la escritura que abogan por integrar las distintas posibilidades semióticas de los recursos impresos con los alcances de representación de la tecnología. Desde esta perspectiva, la inclusión de las formas multimodales de literatura no desmerece el valor que poseen los textos literarios clásicos en formato impreso. Por el contrario, enfatiza la diversidad que adquiere el concepto de lo literario, la experiencia de lectura y las formas en que los recursos digitales y las nuevas tecnologías son capaces de crear nuevas formas textuales.

Según los resultados de estos estudios, las implicaciones pedagógicas del nuevo carácter multimodal de la literatura en entornos escolares se orientan en dos sentidos. En primer lugar, amplía el número de modos y tipos de textos que pueden considerarse como literarios y estéticos (Gregori-Signes y Pennock-Speck, 2012; Beavis, 2013). En segundo lugar, amplifica el número de producciones semióticas con las cuales trabajar en entornos educativos bajo la categoría de textos literarios (Russell y Beavis, 2012; Dalton y Jocius, 2013; Beavis, 2013). Por este motivo, se aboga por una apertura curricular hacia textos estéticos que se extienden más allá de aquellos textos tradicionales en formas impresas.

Por otra parte, varios estudios constituyen propuestas didácticas para abordar la literatura multimodalmente en clase, ya sea al asignar ejercicios de producción literaria multimodal (Elliott–Johns, 2011; Signes, 2014) o diseñar secuencias didácticas para analizar, multimodalmente, textos literarios en clase (Barra y Muñoz, 2013). El carácter multimodal del texto y la secuencia se relaciona con el empleo de herramientas multimedia, que permiten a las y los estudiantes diseñar textos literarios que combinen los modos verbal escrito, visual y sonoro (Elliott-Johns 2011; Signes, 2014) y con las posibilidades de análisis literario a través de recursos audiovisuales (Barra y Muñoz, 2013).

Asimismo, estos estudios indican hallazgos importantes sobre la interrelación de los modos semióticos en las composiciones literarias producidas por estudiantes (Signes, 2014). Algunos exploran los videojuegos como textos literarios, su integración en clase e impacto para reconceptualizar la noción de literariedad (Berger y McDougall, 2013). Además, motivan a las y los estudiantes a traer ejemplos de textos estéticos multimodales al salón de clases y discutir, a partir de ellos, su concepción de la literatura (Russell y Beavis, 2012).

El concepto de movilidad semiótica (Newfield, 2015) explica la articulación de diversas modalidades en los textos literarios y su incidencia en el aprendizaje. Este se refiere a las prácticas de representación trasmodal, es decir, a los procesos a través de los cuales las entidades creadoras de signos desplazan los significados según diversas formas de representación. El análisis de estas prácticas transmodales se enfoca en los repertorios de modos semióticos y la forma en la que estos se utilizan en secuencias de creación de significados, prácticas de alfabetización y aprendizaje. Así, permite demostrar que tanto la significación como las prácticas de alfabetización literaria son semióticamente móviles.

Es de destacar que solo un estudio (Gibbons, 2008) dentro de esta vertiente desvincula el texto literario multimodal del uso de las tecnologías y analiza las implicaciones cognitivas de la lectura de textos literarios multimodales impresos. Este distanciamiento es un aporte relevante y contrasta con la mayoría de los trabajos revisados hasta ahora, tanto para la enseñanza multimodal de la escritura (Dalton, 2012; Beavis, 2013; Edwards–Groves, 2012) como de la literatura (Elliott–Johns, 2011, Barra y Muñoz, 2013; Signes, 2014). Igualmente, subraya la poca atención que ha recibido la literatura en medio impreso dentro de los estudios sobre multimodalidad.

IV. Conclusiones

Una vez exploradas las posibilidades de investigación que ofrece la semiótica social multimodal para el análisis de los contextos educativos, se considera fundamental ofrecer una valoración crítica de dichas corrientes (Fairclough, 2014), a fin de exponer de forma sucinta sus limitaciones principales, sus implicaciones a nivel pedagógico y procurar rutas alternativas de investigación.

En primer lugar, si bien los estudios sobre alfabetizaciones múltiples parten de la noción de multimodalidad para redefinir el concepto de alfabetización, sus aportes problematizan, principalmente, las implicaciones pedagógicas, su implementación en el currículo y los desafíos que comporta su aplicación para la enseñanza multimodal y desde la diversidad. Por estos motivos, su relevancia es indiscutible para asentar las bases pedagógicas y motivar cambios educativos, mas no se encuentran propuestas articuladas sobre cómo implementar, de forma concreta, las alfabetizaciones múltiples en el currículum.

En segundo lugar, los análisis multimodales de la interacción en el aula ofrecen resultados fundamentales sobre los géneros, modos y medios semióticos, no obstante, aplicados a estudios de caso específicos. Por este motivo, si bien su aparato teórico y metodología se recomiendan como una guía sólida para nuevas investigaciones, sus resultados no son generalizables, y se deben sopesar con caracterizaciones multimodales de otros contextos escolares.

En tercer lugar, las vertientes de alfabetizaciones múltiples, formación multimodal del profesorado, y enseñanza multimodal de la escritura y literatura, dan la impresión de que la multimodalidad es un campo desligado de la semiótica social. Además, tienden a vincular la multimodalidad y alfabetización con el uso de tecnologías, por lo que se encuentran las siguientes tres inexactitudes respecto de la noción de multimodalidad misma. Esta se concibe, ya sea como: 1. un nuevo tipo de texto; 2. un texto producido, fundamentalmente, a través del uso de las nuevas tecnologías o con los recursos semióticos que estas ofrecen o 3. una propuesta pedagógica, desde la cual formular actividades didácticas para la mediación en clase.

Respecto del primer punto, este artículo sostiene que concebir la noción de multimodalidad como una clase de textos incurre en una excesiva simplificación del término, que lo reduce a una tipología textual antes que visualizarlo como una perspectiva para el estudio de las prácticas sociales. En ese sentido, se argumenta que la semiótica social multimodal consiste en un enfoque de análisis, que llama la atención sobre los múltiples recursos de creación de significados – modos – empleados en los procesos de representación y comunicación, en los eventos y productos semióticos (van Leeuwen, 2005; Kress et al, 2001; Kress, 2010).

En cuanto al segundo aspecto, este artículo sostiene que la gama de textos multimodales no se limita a aquellos producidos por las nuevas tecnologías, aunque se relaciona particularmente con las producciones mediadas por estas últimas. Afirma que tanto la construcción del conocimiento escolar como la mediación docente son multimodales, aunque no recurran al medio tecnológico, ya que recurren a las posibilidades semióticas de recursos como las inflexiones de la voz, gestos, movimientos corporales, postura, desplazamientos, uso del espacio y objetos, entre otros (Manghi, 2013a, 2013b, 2013c; Manghi y Badillo, 2015; Manghi, Badillo y Villacura, 2014; Manghi y Cordova, 2011; Manghi, 2010).

Respecto del tercer punto, ciertamente, los resultados de las investigaciones han probado que el enfoque multimodal es sumamente efectivo en términos de didáctica de la escritura, de la literatura y en cuanto a motivación hacia el aprendizaje, pues consiguen un mayor compromiso por parte del estudiantado. No obstante, la semiótica social multimodal es un campo de estudio mucho más amplio, aplicable no solo como herramienta pedagógica para diseñar actividades didácticas, sino también para el estudio de los recursos semióticos y sus implicaciones epistémicas y representacionales en contextos de enseñanza.

En ese sentido, este artículo enfatiza la importancia del vínculo entre semiótica social y la multimodalidad, y su concepción como un marco teórico integrado para analizar la semiosis en interacciones escolares. Considera la enseñanza y el aprendizaje como prácticas semiótico sociales de creación de signos y significados, las cuales incluyen procesos de representación y comunicación. Dentro de ella, la semiótica social multimodal advierte sobre la existencia de diversos modos de significación, los cuales inciden en la construcción e interpretación de los discursos disciplinares.

Los estudios desde la semiótica social multimodal en Latinoamérica han sentado bases cruciales para incursionar en este ámbito, pues han demostrado cómo la construcción de los saberes de cada asignatura conlleva decisiones modales y genéricas, las cuales, a su vez, modelan el discurso escolar mismo. Una interesante proyección de estos estudios consistiría en profundizar en las descripciones semióticas según disciplinas, a fin de caracterizar, con más detalle, la naturaleza multimodal, epistémica y el aprendizaje según áreas de conocimiento.

A estos esfuerzos se suma la necesidad de dotar al cuerpo docente latinoamericano de herramientas en materia de alfabetizaciones múltiples y lenguajes de análisis e interpretación de textos multimodales (Macnaught, 2018). Estos insumos permitirían al profesorado desligar la noción de multimodalidad del uso exclusivo de tecnologías y analizar, por tanto, un mayor número de prácticas sociales en el aula. A su vez, lo dotaría de recursos para favorecer adaptaciones curriculares, diseñar estrategias didácticas y criterios de evaluación adecuados para textos de esta naturaleza.

Referencias

Altamirano, P., Godoy, G., Manghi, D. y Soto, G. (2014). Analizando los textos de Historia, Geografía y Ciencias Sociales: La configuración multimodal de los pueblos originarios. Estudios pedagógicos, 40(1), 263-280. doi: https://doi.org/10.4067/S0718-07052014000100016

Anstey, M. y Bull, G. (2010). Helping teachers to explore multimodal texts. Curriculum and Leadership Journal, 8(16), 1-1. Recuperado de https://bit.ly/3iMIQCd

Arancibia, M., Illanes, O. y Manghi, D (2015). Enfoque multimodal: los recursos semióticos visuales para la mediación pedagógica en un aula de estudiantes sordos. Diálogos Educativos. 15(29), 35-53. Recuperado de https://dialnet.unirioja.es/servlet/articulo?codigo=5159508

Archer, A. (2010). Multimodal texts in higher education and the implications for writing pedagogy. English in Education, 44(3), 201-213. doi: https://www.tandfonline.com/doi/full/10.1111/j.1754-8845.2010.01073.x

Area, M. y Pessoa, T. (2012). De lo sólido a lo líquido: las nuevas alfabetizaciones ante los cambios culturales de la Web 2.0. Comunicar, 19(38), 13-20. Recuperado de https://www.redalyc.org/articulo.oa?id=15823083003

Barra, L. y Muñoz, B. (2013). El texto como representación multimodal: una propuesta didáctica a través de las manifestaciones artísticas de" Alicia en el País de las Maravillas". Revista educación y tecnología, (3), 24-44. Recuperado de http://revistas.umce.cl/index.php/edytec/article/view/127

Bateman, J. (2008). Multimodality and genre: A foundation for the systematic analysis of multimodal documents. London, England: Palgrave Macmillan. doi: https://doi.org/10.1057/9780230582323

Beavis, C. (2013). Literary English and the challenge of multimodality. Changing English, 20(3), 241-252. doi: https://doi.org/10.1080/1358684X.2013.816527

Berger, R. y McDougall, J. (2013). Reading videogames as (authorless) literature. Literacy, 47(3), 142-149. doi: https://doi.org/10.1111/lit.12004

Bernstein, B. (2000). Pedagogy, Symbolic Control and Identity. Londres, Inglaterra: Rowan y Littlefield.

Bezemer, J. y Kress, G. (2008). Writing in multimodal texts: A social semiotic account of designs for learning. Written communication, 25(2), 166-195. doi: https://doi.org/10.1177/0741088307313177

Bezemer, J. y Kress, G. (2015). Multimodality, learning and communication: A social semiotic frame. Londres, Inglaterra: Routledge.

Böck, M. y Pachler, N. (Eds.). (2013). Multimodality and social semiosis: Communication, meaning-making, and learning in the work of Gunther Kress. New York, USA: Routledge.

Christie, F. (2002). Classroom Discourse Analysis: A functional perspective. Londres, Inglaterra: Continuum.

Christie, F. y Derewianka, B. (2010). School discourse: Learning to write across the years of schooling. Londres, Inglaterra: AyC Black.

Cloonan, A. (2008). Multimodality pedagogies: A multiliteracies approach. International journal of learning, 15(9), 159-168. Recuperado de http://hdl.handle.net/10536/DRO/DU:30017615

Cloonan, A. (2011). Creating multimodal metalanguage with teachers. English Teaching, 10(4), 23. Recuperado de http://education.waikato.ac.nz/research/files/etpc/files/2011v10n4art2.pdf

Cope, B. y Kalantzis, M. (Eds.). (2000). Multiliteracies: Literacy learning and the design of social futures. Londres, Inglaterra: Routledge.

Cope, B. y Kalantzis, M. (2009). '“Multiliteracies”: New Literacies, New Learning, Pedagogies: An International Journal, 4(3), 164 — 195. doi: https://doi.org/10.1080/15544800903076044

Dalton, B. (2012). Multimodal composition and the common core state standards. The Reading Teacher, 66(4), 333-339. doi: https://doi.org/10.1002/TRTR.01129

Dalton, B. y Jocius, R. (2013). From struggling reader to digital reader and multimodal composer. School-based interventions for struggling readers, K-8. Literacy Research, Practice, and Evaluation, (3), 79-97. doi: https://doi.org/10.1108/S2048-0458(2013)0000003008

Darrington, B. y Dousay, T. (2015). Using multimodal writing to motivate struggling students to write. TechTrends, 59, 29-34. doi: https://doi.org/10.1007/s11528-015-0901-7

Denning, T., Griswold, G., Simon, B. y Wilkerson, M. (2006). Multimodal Communication in the Classroom: What does it mean for us? SIGCSE Bulletin, 38(1), 219-223. doi: https://doi.org/10.1145/1121341.1121410

Duval, R. (2000). Basic issues for research in mathematics education. En T. Nakahara y M. Koyama (Eds.), Proceedings of the 24th Conference of the International Group for the Psychology of Mathematics Education (pp. 55-69). Hiroshima: Hiroshima University.

Edwards-Groves, C. (2012). Interactive creative technologies: Changing learning practices and pedagogies in the writing classroom. Australian Journal of Language and Literacy, 35(1), 99 - 113. Recuperado de https://www.researchgate.net/publication/266482958

Elliott-Johns, S. E. (2011). Multi-modal responses to literature: A teacher educator’s classroom inquiry. LEARNing Landscapes, 4(2), 169-186. doi: https://doi.org/10.36510/learnland.v4i2.394

Fairclough, N. (2014). Critical language awareness. Londres, Inglaterra: Routledge.

Flores, C. (2019). Modos semióticos y géneros en la enseñanza de lengua y literatura en secundaria: un estudio de caso (Tesis de maestría sin publicar). Universidad de Costa Rica, Costa Rica.

García-Vera, A. (2007). Alfabetización tecnológica multimodal e intercultural. Revista de educación, (343), 209-210. Recuperado de http://www.educacionyfp.gob.es/revista-de-educacion/en/numeros-revista-educacion/numeros-anteriores/2007/re343/re343-24.html

Gibbons, A. (2008). Multimodal Literature ‘Moves’ Us: Dynamic Movement and Embodiment in VAS: An Opera in Flatland. Hermes, Journal of Language and Communication Studies (41), 107–124. doi: https://doi.org/10.7146/hjlcb.v21i41.96816

Gilakjani, A., Ismail, H. y Ahmadi, S. (2011). The effect of multimodal learning models on language teaching and learning. Theory y Practice in Language Studies, 1(10), 1321-1327. doi: https://doi.org/10.4304/tpls.1.10.1321-1327

Godoy, G., Manghi, D., Soto, G. y Aranda, I. (2015). Recursos comunicativos de un joven con autismo: Enfoque multimodal para mejorar la calidad de vida. Revista Actualidades Investigativas en Educación, 15(1), 1-23. doi: https://doi.org/10.15517/aie.v15i1.17592

Gregori-Signes, C. y Pennock-Speck, B. (2012). Digital Story as a genre of self-mediated representation: an introduction, Digital Education Review, (22), 1-8. Recuperado de https://www.researchgate.net/publication/290012038

Gutiérrez, A. y Tyner, K. (2012). Educación para los medios, alfabetización mediática y competencia digital. Comunicar, 19(38), 31-39. doi: https://doi.org/10.3916/C38-2012-02-03

Halliday, M. (1982). El lenguaje como semiótica social. México, D.F.: Fondo de Cultura Económica.

Halliday, M (1985). An introduction to Functional Grammar. Londres, Inglaterra: Edward Arnold.

Halliday, M. y Martin, J. (1993). Writing Science: literacy and discursive power. Londres, Inglaterra: The Falmer Press.

Hodge, R. y Kress, G. (1988). Social Semiotics. Cambridge: Polity.

Howell, E., Reinking, D. y Kaminski, R. (2015). Writing as creative design: Constructing multimodal arguments in a multiliteracies framework. The Journal of Literacy and Technology, 16(1), 2-36. Recuperado de http://www.literacyandtechnology.org/volume-16-number-1-may-2015.html

Iedema, R. (2003). Multimodality, resemiotization: extending the analysis of discourse as multi-semiotic practice. Visual Communication, 2(1), 29–57. doi: https://doi.org/10.1177/1470357203002001751

Jenkins, H., Purushotma, R., Weigel, M., Clinton, K. y Robison, A. (2006). Confronting the Challenges of Participatory Culture: Media Education for the 21st Century. Londres, Inglaterra: The MIT Press.

Jewitt, C. (2006). Technology, literacy and learning: A multimodal approach. New York, USA: Routledge.

Jewitt, C. (2008). Multimodality and literacy in school classrooms. Review of Research in Education, 32(1), 241-267. doi: https://doi.org/10.3102/0091732X07310586

Jewitt, C. (2017). A multimodal perspective on touch, communication, and learning. En F. Serafini y E. Gee (Eds.). Remixing Multiliteracies: Theory and Practice from New London to New Times (pp. 106-118). New York, USA: Teachers College Press.

Jewitt, C., Bezemer, J. y O'Halloran, K. (2016). Introducing multimodality. Londres, Inglaterra: Routledge.

Kalantzis, M., Cope, B., Chan, E. y Dalley, L. (2016). Literacies. New York, USA: Cambridge University Press.

Kress, G. (2003). Literacy in the new media age. New York, USA: Routledge.

Kress, G. (2010). Multimodality: A social semiotic approach to contemporary communication. Londres, Inglaterra: Routledge.

Kress, G. y van Leeuwen, T. (1996). Reading images: The grammar of visual design. Londres, Inglaterra: Psychology Press.

Kress, G. y van Leeuwen, T. (2001). Multimodal discourse: The modes and media of contemporary communication. New York, USA: Hodder Arnold.

Kress, G., Jewitt, C., Ogborn, J. y Tsatsarelis, C. (2001). Multimodal teaching and learning: the rhetorics of the science classroom. Londres, Inglaterra: Continuum.

Lemke, J. (1998). Multiplying meaning: Visual and verbal semiotics in scientific text. En J. Martin y R. Veel (Eds.). Reading science (pp. 87-113). Londres, Inglaterra: Routledge.

Lim, V. y O'Halloran, K. L. (2012). The ideal teacher: An analysis of a teacher-recruitment advertisement. Semiotica, 2012(189), 229-253. doi: https://doi.org/10.1515/sem-2012-0032

Macnaught, L. (2018). Multimodal Metalanguage. En H. de Silva Joyce y S. Feez (Eds.), Multimodality across classrooms, Learning about and through different modalities. (pp. 144–160). New York: Routledge. Recuperado de https://www.researchgate.net/publication/328090475_Multimodal_metalanguage

Manghi, D. (2010). Recursos semióticos del profesor de matemática: funciones complementarias del habla y los gestos para la alfabetización científica escolar. Estudios pedagógicos 36(2), 99-115. doi: http://dx.doi.org/10.4067/S0718-07052010000200006.

Manghi, D. (2013a). Géneros en la enseñanza escolar: Configuraciones de significado en clases de historia y biología desde una perspectiva multimodal. Revista signos, 46(82), 236-257. doi: https://doi.org/10.4067/S0718-09342013000200004

Manghi, D. (2013b). Representación y comunicación del conocimiento en Educación Media: análisis multimodal del discurso de materiales utilizados para la enseñanza escolar de la historia y de la biología. Onomázein,(27), 35 – 52. Recuperado de https://dialnet.unirioja.es/servlet/articulo?codigo=4419909

Manghi, D. (2013c). La mediación del profesor especialista para la alfabetización semiótica en el aula de Matemática. En E. I. Moyano (Coord). Aprender ciencias y humanidades: una cuestión de lectura y escritura. Aportes para la construcción de un programa de inclusión social a través de la educación lingüística (pp.199-226). Los Polvorines: Universidad Nacional de General Sarmiento.

Manghi, D., Arancibia, M., Illanes, O., Herrera, P. y Zamora, F. (2014). Medios semióticos y definiciones multimodales en las clases de Ciencias Naturales y Ciencias Sociales en una escuela para jóvenes sordos. Revista Onomazein, (9), 37-56. doi: https://doi.org/10.7764/onomazein.alsfal.2

Manghi, D., González, D., Echeverría, E., Marín, C., Rodríguez, P. y Guajardo, V. (2013). Leer para aprender a partir de textos multimodales: Los materiales escolares como mediadores semióticos. Rexe. 12(24), 77-91. Recuperado de http://www.rexe.cl/ojournal/index.php/rexe/article/view/68

Manghi, D. y Badillo, C. (2015). Modos semióticos en el discurso pedagógico de historia: Potencial semiótico para la mediación en el aula escolar. Ikala, Revista de lenguaje y cultura, 20(2), 157-172. Recuperado de http://www.redalyc.org/articulo.oa?id=255042625002

Manghi, D. y Córdova, J. (2011). Definiciones y explicaciones multimodales: potencial semiótico en la enseñanza de la biología en educación media multimodal. Logos: Revista de Lingüística, Filosofía y Literatura, 21(2), 17-39. Recuperado de https://revistas.userena.cl/index.php/logos/article/view/165

Manghi, H., Badillo, V. y Villacura, A. (2014). Alfabetización semiótica en clases de Historia: Estrategias de mediación desde un enfoque multimodal. Perfiles educativos, 36(146), 63-79. Recuperado de http://www.scielo.org.mx/scielo.php?script=sci_arttextypid=S0185-26982014000400005ylng=esytlng=es.

Martin, J. y Rose, D. (2007). Working with Discourse: Meaning beyond the clause. Londres, Inglaterra: Continuum.

Martin, J. y Rose, D. (2008). Genre relations: mapping culture. Londres, Inglaterra: Equinox.

Martin, J., Maton, K. y Matruglio, E. (2010). Historical cosmologies: Epistemology and axiology in Australian secondary school history discourse. Revista Signos: estudios de lengua y literatura, 43(74), 433-463. doi: https://dx.doi.org/10.4067/S0718-09342010000500003

Maturana, C. y Ow, M. (2016). Multimodalidad y educación. Chile: Santillana.

Monsalve, M. (2015). Estado del arte de la investigación sobre argumentación y escritura multimodal desde una perspectiva didáctica. Revista Lasallista de Investigación, 12(2), 215 - 224. Recuperado de http://www.redalyc.org/articulo.oa?id=69542291022

Nair, S., Tay, L. y Koh, J. (2013). Students’ motivation and teachers’ teaching practices towards the use of blogs for writing of online journals. Educational Media International, 50(2), 108-119. doi: https://doi.org/10.1080/09523987.2013.795351

Newfield, D. (2014). Transduction, transformation and the transmodal moment. En C. Jewitt (Ed.) The Routledge Handbook of Multimodal Analysis (pp. 100-113). Londres, Inglaterra: Routledge.

Newfield, D. (2015) The semiotic mobility of literacy: four analytical approaches. En J. Rowsell y K. Pahl (Eds.). The Routledge Handbook of Literacy Studies (pp.287 – 301). Londres, Inglaterra: Routledge. doi: https://doi.org/10.4324/9781315717647

O’Halloran, K. (2005). Mathematical Discourse: Language, Visual Images and Symbolism. Londres, Inglaterra: Continuum.

O’Halloran, K. (2007). Mathematical and Scientific Forms of Knowledge: A Systemic Functional Multimodal Grammatical Approach. En F. Christi y J. Martin (Eds.), Language, Knowledge and Pedagogy: Functional Linguistic and Sociological Perspective (pp. 205-236). Londres, Inglaterra: Continuum.

Ruiz, F. y Cardona, L. (2019). Relaciones de cooperación y especialización entre la argumentación y múltiples lenguajes en la clase de ciencias. Revista de investigaciones en didácticas específicas (5), 57 – 72. doi: https://doi.org/10.1344/did.2019.5.57-72

Russell, J. y Beavis, C. (2012). English revisited: Sucker punch, Moffatt, avatars and forensic evidence. English in Australia, 47(2), 27 – 35. Recuperado de https://www.researchgate.net/publication/277889763

Signes, G. (2014). Digital storytelling and multimodal literacy in education. Porta Linguarum, (22), 237-250. Recuperado de https://www.researchgate.net/publication/264784921

van Leeuwen, T. (2005). Introducing social semiotics. Londres, Inglaterra: Routledge.

Notas

[1] Si bien el concepto de modos y medios varía según cada autor, en este trabajo, los modos se comprenden como sistemas organizados de recursos semióticos, disponibles socioculturalmente, para la creación de significados y que permiten satisfacer las necesidades representacionales y comunicativas de los creadores de signos (Kress, 2010; Kress y van Leeuwen, 2001; van Leeuwen, 2005). Los medios se conciben como la sustancia física, orgánica, modelada socioculturalmente, como superficie para instanciar los signos. Es la dimensión material en la cual se realiza concretamente y difunde el modo (Kress y van Leeuwen, 2001; Bezemer y Kress, 2008).
[2] De aquí en adelante, este trabajo se referirá a la disciplina semiótica social multimodal bajo el término general de multimodalidad. Pese al uso de esta etiqueta, se insiste en que su significado remite la semiótica social multimodal como disciplina integrada, cuya conceptualización se realizó párrafos anteriores.
HTML generado a partir de XML-JATS4R por