This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
1.1 Habilidades del siglo XXI ..................................................................................................... 3 1.2 Nuevo paradigma de evaluación ............................................................................................... 6 1.3 Pensamiento crítico ................................................................................................................... 9
1.3.1 Importancia de pensamiento crítico en la educación contemporánea ............................... 9 1.3.2 Evaluación del pensamiento crítico ................................................................................. 13
1.4 Cultura .................................................................................................................................... 16 1.5 Modelo de evaluación de pensamiento crítico y cultura ......................................................... 20
1.5.1 Relación entre pensamiento crítico y cultura .................................................................. 20 1.5.2 Modelo de mediación ...................................................................................................... 23
2. TAREAS IMPLEMENTADAS. DISEÑO Y VALIDACIÓN DE TEST DE
Anexo A. Tablas ........................................................................................................................... 69 Anexo B. Paper en ingles .............................................................................................................. 74 Anexo C. Recepción del Paper en Revista Académica ............................................................... 107
vi
INDICE DE TABLAS
Tabla 1: Participantes en el estudio según nivel socioeconómico y género ....................... 39
Tabla 2: Resumen discriminación y Dificultad por pregunta ............................................. 42
Tabla 3: Promedios por curso y tipo de colegio .................................................................. 43
Tabla 4: : Resumen puntajes y dimensiones ....................................................................... 69
Tabla 5: Valores promedio de Dificultad y Discriminación para el pre y post Análisis de Ítems. .. 74
vii
INDICE DE FIGURAS
Figura 1: Modelo de mediación .......................................................................................... 24
Figura 2: Modelo de mediación aplicado a las variables de pensamiento crítico y cultura ................ 25
Figura 3: Método de testeo de un modelo de mediación. ................................................... 25
Figura 4: Ejemplo de pregunta ............................................................................................ 36
viii
RESUMEN
La actual tendencia en la investigación en educación escolar reconoce la necesidad de la
integración de las llamadas “habilidades del siglo XXI” al currículum y a la instrucción
escolar. Una de las habilidades centrales, en este sentido, es el pensamiento crítico, que
es reconocido al interior del currículum nacional. La consecuencia de cambiar la
orientación curricular hacia este nuevo paradigma implica una transformación de la
evaluación de estas competencias. Sin embargo, hoy no se dispone de instrumentos
específicos que cumplan este propósito para los niveles de educación primaria. Esta
investigación plantea un modelo de evaluación y el diseño de un test de pensamiento
crítico para estudiantes de tercer y cuarto grado. El test se diseñó específicamente en el
dominio de lenguaje y comunicación mediante la utilización de una novela gráfica. El
test fue validado por medio del análisis de: validez del constructo, del contenido, del
criterio, además de un análisis de la confiabilidad y de ítems. El instrumento presenta un
diseño adecuado a modelos multidimensionales de la habilidad evaluada, que entrega
una imagen más detallada y completa del aprendizaje del estudiante. Una vez validado el
instrumento, los datos permitieron examinar la diferencia en el nivel de pensamiento
crítico de los estudiantes de acuerdo a su estrato socioeconómico. Se encontraron
diferencias significativas en el nivel de pensamiento crítico entre los grupos. Estas
diferencias deberían ser consideradas en futuras investigaciones dadas las posibles
influencias del factor socioeconómico sobre la evaluación de pensamiento crítico en
estudiantes de educación primaria.
Esta tesis contó con el apoyo de CONICYT-FONDECYT 1150045 y del Proyecto
Interdisciplinario de Investigación VRI Nº13/2014.
Palabras Claves: pensamiento crítico, modelos de evaluación, habilidades del siglo XXI,
cultura, narrativa gráfica y textual
ix
ABSTRACT
The current trend in educational research recognizes the necessity to integrate the so
called “21st century skills” into the school curriculum. One of the most important skills,
in this sense, is critical thinking, which is recognized in the national curriculum. The
consequence to change the curricular orientation to this new paradigm implies a
transformation of the assessment of these competences. However, there are not available
instruments that fit this purpose for primary education. This research is directed towards
the cosntruction of an assessment model and the design of a test of critical thinking for
students in 3rd and 4th grade. The test was specifically in the domain of language and
communication by means of a graphic novel. The validity of the test was determined by
analyzing the construct, content and criterion validity, as well as its reliability and
performing an item analysis. The instrument shows an adequate design according to a
multidimensional model of the assessed skill, which delivers a more detailed and
complete picture of the student’s learning. Once it was validated, the collected data
allowed us to examine differences in the level of critical thinking according to the
student’s socioeconomic status. Significant differences were found between the groups.
These differences should be considered in future research due to possible influences of
the socioeconomic fator over the assessment of skills in primary education contexts.
This thesis had the support of CONICYT-FONDECYT 1150045, and of the VRI Interdisciplina
Research Project N° 13/2014.
Keywords: Critical Thinking, Assessment models, 21st Century Skills, Culture, Graphic
and Textual Narrative
1
PRÓLOGO
La actual tendencia en la investigación en educación escolar reconoce la necesidad de la
integración de las llamadas “habilidades del siglo XXI” al currículum y a la instrucción
escolar. Una de las habilidades centrales, en este sentido, es el pensamiento crítico, que es
reconocido al interior del currículum nacional. El Ministerio de Educación de nuestro país
expresa en un reciente reporte que el pensamiento crítico ha cobrado “mayor importancia
que nunca”, por la influencia de la gran cantidad de selección, lectura y evaluación de
información provocada por los nuevos medios de comunicación digital (Mineduc, OCDE
& SIMCE, 2011, p.21).
Una instrucción adecuada de esta habilidad requiere que los profesores y los
establecimientos tengan un panorama adecuado del nivel de pensamiento crítico de los
estudiantes (Ennis, 1993). Sin embargo, los actuales modelos de evaluación entregan una
imagen parcial o distorsionada del aprendizaje de los estudiantes, ya que utilizan métodos
reduccionistas para evaluar competencias de carácter multidimensional (Conley, 2015).
En este sentido, el objetivo de este trabajo es diseñar un test que evalúe pensamiento
crítico para lograr a través de datos una imagen más acabada del aprendizaje de los
estudiantes chilenos en educación primaria. Por lo tanto, es necesario revisar el modo en
que se puede diseñar de manera apropiada un instrumento de evaluación de pensamiento
crítico para luego implementarlo y probar su rendimiento en contextos educacionales
reales.
2
El primer capítulo presenta el marco general de la evaluación de “habilidades del siglo
XXI”, al que se ciñe este trabajo. Luego, se especifican los conceptos que guiarán la
construcción de un modelo de evaluación integrado, en particular, los conceptos de
pensamiento crítico y cultura. Finalmente, se describe un modelo estadístico de mediación
mediante el cual es posible implementar un test que integre factores culturales en la
evaluación del pensamiento crítico.
El segundo capítulo es un paper que describe el diseño, validación e implementación de un
test de pensamiento crítico basado en una novela gráfica para estudiantes de tercer y cuarto
grado. Además, se analiza la posible influencia del estrato socioeconómico sobre el nivel
de pensamiento crítico de los estudiantes.
El tercer capítulo revisa las conclusiones generales del trabajo realizado en la construcción
del modelo y diseño del test de pensamiento crítico.
Finalmente, en los anexos, se encuentra la versión en inglés del paper enviado junto a la
carta de recepción a la revista académica Thinking Skills and Creativity.
3
1. MOTIVACIÓN: HACIA UN MODELO DE EVALUACIÓN DE
PENSAMIENTO CRÍTICO
1.1 Habilidades del siglo XXI
Los últimos años han visto levantarse una enérgica demanda de la ciudadanía
por una mejor educación para nuestro país. En general, el problema se ha
centrado en el financiamiento de los establecimientos educacionales, cuya
máxima expresión es una reforma en curso por parte del gobierno de Michelle
Bachelet centrada en superar la segregación en los colegios. Sin embargo, este
énfasis ha oscurecido en buena medida el debate sobre calidad en la educación.
En este trabajo propongo revisar un aspecto de este espinoso problema y volver
a cuestionarnos qué necesidades plantean nuestros tiempos a nuestros
estudiantes.
Un reciente reporte conjunto de la UNESCO y la UNICEF llama a los
estudiantes del mundo a convertirse en ‘‘self-directed learners who can address
their own wants and concerns and can advocate for their goals and aspirations’’
(Sayed, 2013). Este llamado responde a un reclamo general por una enseñanza
más relevante y significativa para el nuevo contexto económico y social. En la
actual sociedad del conocimiento, la división del trabajo gracias a la tecnología
ha hecho que se le otorgue un menor énfasis al intercambio de la información y
se privilegian las competencias que apuntan a la comprensión de la información
(Levy & Murnane, 2012).
4
Para responder a este reclamo se han desarrollado diversos frameworks
alrededor del movimiento llamado “habilidades del siglo XXI”, cuyo impacto
en educación ha sido fundamental para volver a pensar las necesidades
educacionales de nuestra sociedad. En contraposición a los requerimientos del
currículum tradicional, basados fundamentalmente en alfabetización,
matemáticas y ciencias, se propone integrar una serie de habilidades que
traspasan las categorizaciones cerradas de las disciplinas. Por tanto, se
construye desde esta posición la idea de habilidades transversales (que
funcionen en más de un dominio del conocimiento), multidimensionales (que
incluyan tanto la dimensión cognitiva como actitudinal) y asociadas a
habilidades de orden superior (Voogt & Pareja, 2012).
Si bien no existe consenso absoluto sobre qué habilidades o competencias se
requieren para una educación significativa, se han identificado tendencias
generales en los catálogos de los investigadores y agencias educacionales.
Voogt & Pareja (2012) efectuaron un análisis comparativo de los distintos
marcos disponibles de habilidades del siglo XXI. Se encontró una gran
variedad entre los modos de categorización y agrupación de estas habilidades.
No obstante, detrás de esta aparente dispersión, se logró identificar que la
mayoría de los marcos consideraban centrales la habilidades en el área de
comunicación, colaboración, TICs, consciencia social y cultural, así como las
habilidades de creatividad, resolución de problemas y pensamiento crítico.
Se puede notar que si bien el discurso de las habilidades del siglo XXI nace de
la necesidad integrar la educación a los nuevos avances tecnológicos y
culturales, el tipo de competencias que promueve es bastante más antiguo.
5
Silva (2009) reconoce que muchas de las mismas necesidades educacionales
fueron exigidas por pensadores clásicos como Sócrates o, en su versión más
contemporánea, John Dewey. Sin embargo, lo verdaderamente inédito es el
énfasis que estas habilidades adquieren por las transformaciones en el trabajo y
la economía contemporáneas. En este sentido, resulta sintomático un estudio
del World Economic Forum y el Boston Consultancy Group (2015) en más de
91 países que señala que para la utilización exitosa de las herramientas
tecnológicas por parte de los estudiantes se necesitan conocimientos más allá
de los clásicos contenidos curriculares en lenguaje, matemáticas y ciencia, en
particular, considera relevante las habilidades de pensamiento crítico,
resolución de problemas, persistencia, colaboración y curiosidad. Sin embargo,
indica el reporte, “All too often (...) students in many countries are not attaining
these skills”(WEF & BCG, 2015, p.1).
Esta situación está marcada, además, por la desigualdad. El mismo informe
advierte que existen amplias diferencias en el desempeño promedio de tests
para este tipo especial de habilidades entre países de la OECD de alto ingreso
en contraposición con aquellos en vías de desarrollo (WEF & BCG, 2015). Esta
diferencia ni siquiera pudo ser establecida respecto a los países de bajo ingreso,
puesto que muy pocos participan en tests que permitan la comparación como la
PISA. La situación se vuelve más urgente si se piensa en que los mayores
esfuerzos por reducir la brecha educacional entre los países ricos y los pobres,
como el caso de Education for All de la UNESCO, han sido incapaces de
6
mejorar los niveles de competencias mínimas en países de bajos ingresos
(Filmer, et al., 2006).
Ante este escenario conviene preguntarse dónde vale la pena dedicar trabajo
para reducir la brecha e insertar de manera adecuada estas habilidades
fundamentales en la enseñanza de los estudiantes.
1.2 Nuevo paradigma de evaluación
Pensar nuevas habilidades junto a los contenidos tradicionales en el currículum
implica un cambio de paradigma que aún no ha sido completamente recibido
por las distintas comunidades. Explica Dede (2010) que una de las mayores
complicaciones en la inserción de las habilidades del siglo XXI es el intento de
que tanto los educadores y los estudiantes, así como los diseñadores de
políticas públicas, dejen atrás cierto tipo de prejuicios pertenecientes al
paradigma anterior, como la hora de clases de 45 minutos, o que las preguntas
en una prueba deben tener una única pregunta. Este tipo de resistencia no solo
ha llevado a distorsionar la actividad pedagógica diaria, sino que además se ha
promovido una interpretación errónea de los resultados de pruebas como la
PISA. En lugar de concluir en políticas de mejoras de habilidades del siglo
XXI, se ha llegado al diagnóstico de que se necesita devolver la atención a
habilidades de lectura y matemáticas básicas (Voogt & Pareja, 2012).
Lo que se necesita es entender que cambiar la orientación del currículum hacia
nuevos objetivos presupone cambiar la manera en que se implementa.
7
Probablemente, el caso más patente de la necesidad de esta reforma sea el de la
evaluación.
Según Dochy (2001) existen dos paradigmas sobre el que se construyen las
políticas de evaluación.
Primero, el paradigma tradicional, al que Dochy (2001) denomina la “cultura
de la prueba” (testing culture). Según Dochy, en la “cultura de la prueba” el
estudiante es imaginado como un recipiente pasivo que debe memorizar los
contenidos de la clase narrados por el profesor. Tanto la enseñanza como el
aprendizaje son pensados como procesos individuales. La evaluación sigue la
misma lógica. Se sustenta principalmente en evaluar un supuesto conocimiento
básico adquirido a través de tediosas prácticas y repeticiones de ejercicios. Por
tanto, el centro está en evaluar el producto y no el proceso. De esta manera, la
instrucción y la evaluación se comprenden como etapas separadas en la
enseñanza del estudiante. El típico mecanismo de evaluación será, por tanto, la
pregunta con respuesta única, con el fin de cuantificar fácilmente el nivel de
aprendizaje del contenido por parte del estudiante.
El segundo paradigma descrito por Dochy (2001) es aquel que denomina la
“cultura de la evaluación” (assessment culture). A diferencia del paradigma
anterior, sustentado en la memorización de los contenidos, la “cultura de la
evaluación” busca que el estudiante adquiera habilidades cognitivas,
metacognitivas y sociales específicas. Lo que retiene el estudiante no son los
contenidos aislados, sino una red de conceptos y principios desde los que
interpreta su realidad y opera con ella. El estudiante se torna un participante
activo en el proceso de aprendizaje, tomando parte tanto en las actividades de
8
instrucción como de evaluación. El objetivo de esta perspectiva es evaluar tanto
el producto como el proceso. Por lo tanto, el contexto se vuelve un elemento
fundamental al construir las evaluaciones. Las tareas intentan ser interesantes,
emanadas de situaciones concretas y significativas para el mundo del
estudiante. La evaluación no tomará una forma canónica, sino que se evaluará
de las maneras que las habilidades a enseñar lo exijan. Así, muchas veces se
desarrollarán evaluaciones que contengan preguntas sin una única respuesta
correcta, o más difíciles de estandarizar, lo que impacta en la complejidad de
cuantificar sus resultados.
La prevalencia actual del primer paradigma no solo se explica por la
persistencia de ciertos prejuicios sobre el sistema educativo. La facilidad de
cuantificar el desempeño de los estudiantes es una característica atractiva para
los diseñadores de políticas públicas. Es frecuente la utilización de tests que
aportan muy poca información, por ejemplo, tests de opción múltiple, ante la
presión por mostrar resultados ante el foro público (Conley, 2015). De esta
forma, la instrucción de los estudiantes se adapta a la evaluación de este tipo de
pruebas. Los efectos negativos de esta política de evaluación no se han hecho
esperar. Por ejemplo, en los Estados Unidos ha existido una baja sostenida
entre el 2010 y el 2012 en la prueba PISA, que basa su evaluación en
habilidades de nivel superior y transferencia (Darling-Hammond, 2014). Este
panorama no es desconocido para Chile, cuyo sistema educacional cuenta con
medidas estandarizadas para la medición de la calidad en la educación, en
particular, la prueba SIMCE, que se aplica a la totalidad de los alumnos de un
nivel desde 1987 (Basualdo, 2007). Si bien la prueba SIMCE ha sido
9
importante para el desarrollo de una institucionalidad e investigación en torno a
la calidad de la educación chilena, su implementación ha acarreado algunos
déficits (Ramírez, 2011). Similar al caso de los Estados Unidos, Chile ha sido
incapaz de remontar en la prueba PISA, con el resultado de que los escolares
chilenos están entre los puntajes más bajos entre los países de la OCDE
(Moreno, 2014).
Bajo este panorama, es razonable pensar en el diseño de nuevas evaluaciones
que sirvan para adaptar nuestro sistema educativo a las necesidades de la época
en que vivimos. Conley (2015) sugiere que en lugar de construir evaluaciones
aisladas que se preocupen solo de un aspecto del aprendizaje se haga el intento
de coordinar sistemas de evaluaciones que aporten con un panorama más
amplio del conocimiento y aprendizaje de los estudiantes. Tal como afirma
Silva (2009), un nuevo modelo de evaluación no solucionará todos los
problemas de la educación, pero permite volver a preguntarse qué resultados
importan realmente para nuestros estudiantes.
1.3 Pensamiento crítico
1.3.1 Importancia de pensamiento crítico en la educación
contemporánea
Muchas son las vías que la evaluación de las habilidades del siglo XXI ofrecen
a los investigadores en educación. El asunto de la presente investigación es
avanzar en la evaluación de la que, en opinión del autor, es la más urgente de
desarrollar en el contexto de la educación chilena. Me refiero, por supuesto, al
10
pensamiento crítico. Esta preocupación se refleja, incluso, en el curículum
nacional, tanto de Lenguaje y comunicación como de Matemática, que exige a
los profesores el desarrollo de esta habilidad desde el tercer grado (Mineduc,
2013ª; Mineduc, 2013b).
El interés por el pensamiento crítico tiene antiguos antecedentes en la Grecia
clásica, especialmente en el modelo educativo atribuido a Sócrates (Colaiaco,
2013), quien promulgaba el ideal de que todos los valores debían ser
examinados por cada ciudadano por su propio juicio racional. Con diferentes
matices, este ideal se proyectó históricamente en occidente, cuyo punto
cúlmine se encuentra en el ideal ilustrado que Immanuel Kant resumió
diciendo “ ¡Ten el valor de servirte de tu propia razón! : he aquí el lema de la
ilustración” (1994/1784).
¿Cuál es el valor específico de integrar el pensamiento crítico como habilidad
fundamental en la educación contemporánea? La defensa más robusta y
coherente ha sido establecida por Martha Nussbaum, quien en su libro Not for
Profit (2012) arguye que cultivar la habilidad de pensar críticamente es crucial
para mantener la vitalidad de las democracias multiculturales. Según la
filósofa, las sociedades actuales están compuestas por una gran diversidad de
personas con diferentes parámetros de evaluación. Explica Martha Nussbaum
que la habilidad de pensar críticamente
“about a wide range of cultures, groups, and nations in the context of a grasp of the global economy and of the history of many national and group interactions is crucial in order to enable democracies to deal responsibly with the problems we currently face as members of an interdependent world” (2012, p.10).
11
Si estas personas viven en una comunidad democrática, se considera que la
opinión de cada una debe ser valorada por los mismos estándares de
racionalidad. Por esta razón, la presuposición de que tienen la habilidad de
pensar críticamente justifica que están capacitados para participar activa y
responsablemente como ciudadanos en las decisiones de su comunidad. De esta
manera, el pensamiento crítico permite un modelo de democracia que admite
modos de participación inclusiva a través de la deliberación pública
(Grossman, 2008).
Además de su valor democrático, el pensamiento crítico provee numerosas
ventajas en el contexto actual de aprendizaje. Por una parte, Paul (1992)
explica que la integración de habilidades de pensamiento crítico en la sala de
clases permite a los estudiantes comprender la lógica detrás de los contenidos
curriculares y, por tanto, hacer más probable la adaptación y transferencia de lo
aprendido a nuevos contextos. Por otra parte, Heyman (2008) declara que el
pensamiento crítico es fundamental para los estudiantes a la hora de aprender
de otros. Según la investigadora, el pensamiento crítico desde edades muy
tempranas permite distinguir en qué situaciones se enfrentan a información
poco precisa o poco confiable. También Weiler (2005) describe la importancia
del pensamiento crítico a la hora de obtener y recuperar información. Esto es
especialmente notorio al nivel universitario, donde, según Weiler (2005), los
estudiantes presentan gran disparidad en su uso de buscar información, siendo
un típico obstáculo para el pensamiento crítico el prejuicio que provoca el
conocimiento desde la experiencia personal. Estas ventajas han probado su
practicidad en el progreso futuro del estudiante, puesto que se ha mostrado que
12
el nivel de pensamiento crítico permite predecir el desempeño académico del
estudiante (Jenkins, 1998; Williams, et al., 2003; Facione, 2007).
Una vez explorado el valor del pensamiento crítico en la educación
contemporánea, se necesita pensar la manera más adecuada de integrarlo al
modelo educativo. En principio, el lugar más adecuado para esta intervención
es el currículum. Tal como explica Presseissen (1987), cuando se intenta
construir un modelo educacional basado en habilidades, es el currículum el
espacio en el que se vinculan los procesos de cognición con los objetivos
instruccionales del diseño institucional. En este sentido, es fundamental
cuidarse de que esta implementación no sea una mera extensión inorgánica,
sino que funcione como el núcleo sobre el que se construya el currículum
(Presseissen, 1987). Esta misma recomendación está contenida en Facione
(1990), en el que se sugiere una atención explícita en el desarrollo de
habilidades de pensamiento crítico como un objetivo instruccional en todos los
niveles del currículum de enseñanza escolar. Por sobre todo, la inclusión del
pensamiento en el currículum escolar apunta a transformar intelectualmente a
los estudiantes, en palabras de Maiorana (1992), rescatándolos de una
aceptación pasiva de los contenidos para convertirlos en analistas activos de su
realidad.
Tal como lo adelantamos en la primera sección, adoptar habilidades, en este
caso, el pensamiento crítico como objetivo instruccional del currículum,
implica preguntarse seriamente por su implementación. Una de las barreras
actuales más importantes es la posibilidad de evaluar adecuadamente el nivel
13
de pensamiento crítico de los estudiantes En la siguiente sección se darán
lineamientos apropiados para la evaluación del pensamiento crítico.
1.3.2 Evaluación del pensamiento crítico
La evaluación del pensamiento crítico en el currículum es un primer paso para
superar la separación entre el estudiante y el conocimiento obtenido, tan propio
de la que llamamos “cultura de la prueba”. Esta superación se obtiene al
concentrar la evaluación no en los contenidos que adquiere el estudiante, sino
en la calidad de su conocimiento, basada principalmente en actividades con
propósito (Higgins, 2014). Para lograr esta interacción significativa con el
conocimiento del estudiante se requiere que el modelo se mueva de sistemas
unidimensionales de evaluación hacia evaluaciones que den una imagen más
completa de lo que efectivamente sabe el estudiante (Conley, 2015). A
continuación, se delinearán las características que hacen posible construir un
test de pensamiento crítico bajo los principios de lo que hemos llamado
“nueva evaluación” en la sección 1.2.
Brown et al. (2014) explican que todo sistema de evaluación de pensamiento
crítico consta tanto de la formulación de un constructo a evaluar elaborado en
base a un modelo de cognición específico como de tareas que estén
específicamente destinadas a elicitar conductas observables en el desempeño
de los estudiantes.
La formulación del constructo es una de las tareas más fundamentales y, al
mismo tiempo, una de las más complejas en la evaluación de habilidades del
14
siglo 21. La tendencia histórica ha sido fijarse más en la confiabilidad del test
que en su validación (Conley, 2015), lo que ha impactado en la construcción de
una serie de tests que miden partes discretas de las habilidades en cuestión en
lugar del pensamiento crítico como una habilidad compleja compuesta de
diversas subdimensiones integradas (Ennis, 1993). Esta dispersión en la
evaluación se asocia, en buena medida, a la gran diversidad de definiciones de
pensamiento crítico disponibles en la literatura (Kennedy, Fisher &
Ennis,1991; Pithers & Soden, 2000; Lai, 2011; Dwyer, 2014). En este sentido,
es útil establecer una definición operativa desde un inicio.
Una aproximación común al pensamiento crítico es definirlo en relación a las
habilidades que lo componen. Van Gelder (2005) arguye que la idea que el
pensamiento crítico es una habilidad de nivel superior implica que está
compuesto de sub-habilidades más simples y fáciles de adquirir. El intento más
serio de establecer un consenso respecto de las habilidades esenciales que
componen el pensamiento crítico se encuentra en el Reporte Delphi (Facione,
1990) en el que se determina que las habilidades principales que debiese
contener todo concepto de pensamiento crítico son: interpretación, inferencia,
análisis, evaluación y explicación. Es importante señalar que gracias a las
investigaciones en estas habilidades en particular se ha podido demostrar
empíricamente que el pensamiento crítico puede ser evaluado y enseñado
operativamente en salas de clases (Butler, et al., 2012; Niu, et al., 2013; Reid &
Anderson, 2012).
Además, la práctica pedagógica y evaluativa muestran que una comprensión
adecuada del pensamiento crítico necesita destacar su aspecto metacognitivo
15
(Halpern, 1998; Ku & Ho, 2010). Se puede describir la metacognición como
“the monitoring and control of thought” (Martínez, 2006). Kuhn (1999) explica
que la evaluación del pensamiento de acuerdo a criterios presupone la
metacognición, ya que en la metacognición el pensamiento se vuelve objeto de
nuestro conocimiento. De esta manera, mediante la metacognición podemos
monitorear nuestro pensamiento y decidir críticamente qué estrategias
desplegar para cada problema concreto (Willingham, 2008). Por lo demás, se
ha mostrado a través de análisis de factores que la inclusión de la
metacognición en modelos de pensamiento crítico mejora el desempeño
experimental de esos modelos (Magno, 2010). Por esta razón, la mejor
definición disponible en la actualidad la aportan Dwyer, Hogan & Stewart
(2014), quienes componen su concepto de pensamiento crítico en referencia a
las habilidades que lo integran y su componente metacognitivo. De esta
manera, escriben que el pensamiento crítico es
“a metacognitive process, consisting of a number of sub-skills (e.g. analysis, evaluation and inference) that, when used appropriately, increases the chances of producing a logical conclusion to an argument or solution to a problem” (Dwyer, Hogan & Stewart, 2014, p.43)
La decisión del tipo de tarea incurre en problemas similares. Uno de los
aspectos más difíciles es sobre si las tareas deben desarrollarse en el contexto
de un dominio específico o si las tareas deben ser construidas independiente
del dominio. Una posición es pensar que el pensamiento crítico es una
habilidad general y que, por tanto, su evaluación e instrucción puede
practicarse independiente del dominio específico en el que se desarrolla. Este
argumento es defendido principalmente por Ennis (1992), Paul (1992), Halpern
16
(1998) y Glaser (1984). La posición contraria se sustenta en que el
pensamiento crítico no es tanto una habilidad general, sino una habilidad que
se desarrolla en dominios específicos del conocimiento y es, por tanto,
altamente dependiente del contexto. Esta idea ha sido expuesta
fundamentalmente por McPeck (1981), Bailin (2002) y Willingham (2008). Ku
et al. (2014) aclaran que el debate ha tendido a solucionarse mediante un
consenso en el que tanto el conocimiento específico juega un rol en el
pensamiento crítico, así como también ciertas habilidades transversales. En el
caso de la evaluación, sin embargo, existe un menor desarrollo de evaluaciones
basadas en dominios específicos (Ennis, 1993). Además, bajo los principios de
la nueva evaluación antes mencionados, las evaluaciones deben centrarse en el
proceso (Dochy, 2001) y, por tanto, en su construcción se requiere tomar en
cuenta el contexto del dominio en el que se desenvuelven (Brown et al., 2014).
Por último, se requiere que los evaluadores tengan marcos adecuados a su
disposición que les permitan interpretar las respuestas de los estudiantes, es
decir, rúbricas. Brown et al. (2014) sugieren que estas rúbricas que no estén
construidas desde adjetivos que expresen sus apreciaciones subjetivas, sino que
estén basados en características debidamente operacionalizadas del concepto
en cuestión (Brown et al., 2014).
1.4 Cultura
Los factores culturales condicionan las capacidades de desarrollo de las
personas, tanto en su aspecto cognitivo como social (Nussbaum, 2011). La
17
cultura de una comunidad puede ser definida como los valores, reglas
y actitudes que definen la particularidad de cada organización (Bordieu, 1993).
Estudiar los factores culturales permite observar las maneras en las que las
sociedades resuelven problemas y dilemas (Trompenaars & Hampden-Turner,
1998; Schein, 1993). Sin embargo, aunque hay una gran variedad de estudios
sobre cultura (Munn, 1992), la particularidad de sus metodologías no los hace
siempre apropiados para estudiar la masiva complejidad de las instituciones
modernas (Hofstede 2001). Salili, et al. (2001) describen la gran cantidad de
estudios empíricos que justifican la influencia de la cultura en el desempeño
escolar de los estudiantes. Desde los estudios inaugurales de Pierre Bordieu
(2011) se sabe que el capital económico puede ser transformado en capital
cultural y ser transmitido por la familia a los estudiantes, lo que provoca
muchas veces diferencias en el logro escolar de los estudiantes (Sullivan,
2001). Además, se ha probado que la cultura influye en la cognición más allá
del estado neurofisiológico de la persona (Pérez-Arce, 1999). Rueda (2006)
sugiere que la cultura da forma a las maneras en que los estudiantes realizan su
aprendizaje cognitivo. Bajo esta premisa, Gruenert & Whitaker (2015) sugieren
que establecer políticas que tomen en cuenta la cultura en la sala de clases
puede mejorar los logros educacionales y enriquecer la vida de los estudiantes
en la sala de clases.
La investigación de factores culturales en la sala de clases ha sido en su mayor
parte de carácter cualitativo (Hofstede, 1986; Deal, et al., 1999; Lieberman,
1988; Lipka & Ilutsik, 2014). La medición de factores culturales en la escuela a
través de una metodología cuantitativa permitiría tener tanto información
18
agregada como particular de las dimensiones que constituyen el entramado
cultural de cada colegio. Por lo anterior, se requiere crear un instrumento de
medición adaptado al contexto escolar que permita su evaluación cuantitativa.
El investigador Geert Hofstede ha creado un marco metodológico cuantitativo
para poder medir los factores culturales a nivel nacional y organizacional.
Hofstede catalogó distintas culturas bajo un número de dimensiones valóricas
(Hofstede, 2001).
El marco de Hofstede se sustenta en el principio que la cultura es la
programación colectiva de la mente (Hofstede & Minkov, 2010). Esta
programación ocurre durante toda nuestra vida (Hofstede, 2001). Las personas
van adquiriendo poco a poco los valores que determinarán, así como, la manera
en que se relacionan con el resto de la comunidad (Hofstede, 2001). Según
Hofstede (2001), los valores de una cultura se pueden describir en cinco
dimensiones medibles: (1) alta o baja distancia hacia el poder, (2) alta o baja
evasión de la Incertidumbre, (3) individualismo o colectivismo, (4) orientación
femenina o masculina, (5) orientación a largo o corto plazo (Hofstede &
Minkov, 2010). A partir de estos indicadores, Hofstede confeccionó un test
para medir estas dimensiones.
Este marco teórico, así como el test derivado de dicho marco, sirve de
referencia para investigaciones cuya finalidad sea la medición de factores
culturales por diversas razones. En primer lugar, este modelo ha sido probado
en más de 50 países, por lo que está validado a través de una gran variedad de
culturas (Hofstede, 2001). En segundo lugar, tanto el modelo como los test
basados en ese marco se encuentran en constante revisión por lo que se
19
mantiene relativamente actualizado (Hofstede, 2001). En tercer lugar, la
investigación de Hofstede fue basada en un diseño riguroso y validado durante
los años con una colección de datos coherentes (Jones, 2007). En cuarto lugar,
Søndergaard (1994) declara que el test de Hofstede es bastante preciso al
momento de medir las distintas dimensiones que lo integran. En quinto lugar,
es el test de cultura más utilizado por investigadores actualmente a nivel
internacional (Jones, 2007).
La limitación, en este caso, del test de Hofstede es que, a pesar de la amplia
repercusión que ha tenido, solo ha sido aplicado en adultos. No obstante, la
edad escolar resulta especialmente interesante para el estudio de la cultura
desde este marco, puesto que según explica Hofstede hay una división que
ocurre aproximadamente a la edad de 10 años y que marcaría las diferencias de
aprendizaje de elementos culturales, tanto en la forma como en el contenido
(Hofstede, 2008; Hofstede & Minkov, 2010). Antes de los 10 años, se
desarrolla un periodo en el que el aprendizaje cultural ocurre para los niños de
forma “rápida y altamente inconsciente”, absorbiendo “la información
necesaria del ambiente” (Hofstede & Minkov, 2010, p. 8). En este período, el
colegio juega un rol crucial, ya que además de su familia cercana, es el otro
espacio de socialización en el que los niños están expuestos a valores
socialmente relevantes. Es decir, hasta los 10 años los niños estructuran el
conjunto de valores que luego permitirán explicar su acción en sociedad. Al
final de este período, el aprendizaje pasa a ser gradualmente consciente y su
contenido pasa a estar enfocado principalmente en nuevas prácticas. Los
valores, en cambio, serán una estructura relativamente estable (Hofstede,
20
2001; Hofstede, 2008). Es el propio Hofstede (1986) quien puntualizó que
estas dimensiones podían ser estudiadas en organizaciones educativas
(Hofstede, 1986). Dicho estudio se basó en la observación en colegios y
encuestas a profesores de variadas regiones del mundo (Hofstede, 1986).
Hofstede indagó en las diferencias que implica la cultura en la sala de clases y
cómo ésta puede causar, entre otros problemas, grandes desigualdades entre los
patrones esperados de interacción entre profesor/alumno y alumno/alumno;
además de disparidades en la relevancia del currículum educativo (Hofstede,
1986).
Por las razones previamente mencionadas, es razonable pensar que una
adaptación del test de Hofstede al contexto escolar podría medir factores
culturales en la sala de clases y permitir su integración a los modelos de
evaluación de habilidades cognitivas.
1.5 Modelo de evaluación de pensamiento crítico y cultura
1.5.1 Relación entre pensamiento crítico y cultura
Cuando se estudia pensamiento crítico y sus relaciones con otros factores, en
general la investigación se ha centrado en sus efectos en aspectos académicos,
de instrucción, plan de estudios, y diferentes campos disciplinarios (McMillan,
1987; Tsui, 1998; Tsui, 2000). Sin embargo, se le ha dado poco énfasis a temas
como la relación del desarrollo cognitivo, el pensamiento crítico y las
relaciones entre alumno/alumno y profesor alumno (Ennis, 1998; Tsui,
2000). Estas relaciones están directamente vinculadas con la cultura de la
institución a la cual los estudiantes pertenecen (Hofstede, 2001).
21
Cole (1971) explica que el desarrollo cognitivo está influenciado por las
demandas del ambiente en el que el alumno se desenvuelve. En buena medida,
las habilidades cognitivas de los individuos se basan en los patrones totales de
una sociedad, por lo tanto, de su cultura (Hofstede, 1986). Así, estudios han
encontrado diferencias significativas en el grado en que personas de diferentes
culturas procesan la información y complementan ésta con conjeturas
determinadas por el propio entorno (Sckade et al., 1978; Bennett, 1997). Por
tanto, muchas veces resulta problemático enseñar a un estudiante con un perfil
de habilidades cognitivas distintas de aquella a las que el profesor está
acostumbrado (Hofstede, 1986). Según Hofstede (1986), no hay otra solución
para disminuir esta brecha cultural sino aumentar la conciencia sobre estas
diferencias, en un esfuerzo sostenido por ambas partes, centrándose
especialmente en las nuevas capacidades demandadas por los cambios sociales
del momento. Así, vale la pena vincular el problema de la influencia de la
cultura sobre el desarrollo de habilidades, para facilitar su implementación en
el aula. En particular, con habilidades de pensamiento crítico que permitieran
educar acerca de las brechas culturales antes mencionadas.
Se reconoce que la educación — y en particular los tipos de habilidades y
valores que se nutren de dicho entorno — tiene una influencia en el uso del
pensamiento crítico de los estudiantes (Manalo et al., 2013). Pensar
críticamente está profundamente entrelazado con los antecedentes culturales de
un individuo y lo que tenemos que hacer frente a las diferencias culturales (Hill
& Shadija, 2010). Sin embargo, si se sostiene que la cultura del alumno afecta
directamente en su proceso de aprendizaje y su desarrollo cognitivo (Kuh,
22
1990; Tsui, 2000), entonces es necesario establecer el modo específico en que
esta influencia opera. Esto se vuelve urgente si se toma en cuenta que la
evaluación e instrucción de pensamiento crítico puede ser afectada por ciertos
prejuicios culturales (Bailin, 1995). Urdan & Giancarlo (2000) sugieren que
todavía no está claramente establecido el grado en que los factores culturales
afectan el pensamiento crítico, aunque luego recopilan una serie de estudios
incipientes en esta dirección. Un ejemplo más reciente se encuentra en Bates
(2001) y Bates & Poole (2003) quienes describen la manera en que provenir de
una cultura diferente a la del profesor y el resto de los compañeros puede
afectar el nivel en que un estudiante utiliza sus habilidades de pensamiento
crítico. Manalo et al. (2013) realizaron un experimento cuyos resultados
sugieren que existe una influencia de la cultura en el pensamiento crítico, pero
que, sin embargo, esta influencia no es directa ni está necesariamente vinculada
al origen geográfico del estudiante.
Kurtz (1990) en particular propone que la cultura funciona como un mediador
tanto los procesos cognitivos como metacognitivos en los niños. Esta
mediación, según Kurtz (1990), se despliega en factores motivacionales y
ambientales, en particular aquellos que se desarrollan en la familia y la escuela.
La idea de que la cultura media los procesos cognitivos de nivel superior está
en plena concordancia con el paradigma de la sicología cognitiva y educacional
de Vygotsky. Según esta tradición, el ser humano interactúa con su ambiente
utilizando los signos y herramientas creados por su sociedad. Sin embargo, tal
como la comunidad que los crea, estos mediadores cambian con el tiempo
(Vygotsky, 1980). Esta mediación, en el caso de las funciones mentales
23
superiores, pasa necesariamente por las relaciones sociales que la persona tiene
con el resto de la comunidad y está, por tanto, en constante relación con la
cultura de la sociedad específica en la que emerge (Wertsch, 2009). De esta
manera, la cultura se constituye en el principal mediador de las funciones
cognitivas superiores, entre las que podemos contar, por supuesto, al
pensamiento crítico.
1.5.2 Modelo de mediación
La consecuencia metodológica de seguir esta línea teórica es, entonces, la
construcción de un modelo que tome en cuenta el carácter mediador de la
cultura en el pensamiento crítico. Tal como Mackinnon et al. (2007) lo
consideran, gran parte de los modelos de investigación se centran en relaciones
entre dos variables. Los modelos de mediación, en cambio, permiten explicar
la influencia de una tercera variable sobre la relación entre las dos variables
previas. Para comprender el análisis de mediación podemos recurrir a un
ejemplo presente en Fairchild & McQuillin (2010). El ejemplo supone la
implementación de un programa de mejora de la lectura en un colegio (variable
independiente, X) para incrementar el rendimiento en un test de competencia
lectora (variable dependiente, Y). Siguiendo este modelo, se podría medir el
efecto de dicho programa (X) en la competencia lectora (Y) comparando la
diferencia en el rendimiento de la competencia lectora antes y después de la
aplicación del programa. Pero, quizás, este no es el panorama completo. En
este caso, se podría complejizar el modelo al introducir como variable
24
mediadora la fluidez oral en la lectura del estudiante (variable mediadora, M).
De esta manera, tendríamos acceso a la variable que, en realidad, está causando
la mejoría en la competencia lectora. Un modelo de mediación consta, por lo
tanto, de tres tipos de variables como se muestra en la figura 1. Una variable
independiente, una variable dependiente y una variable mediadora.
Figura 1: Modelo de mediación
Al aplicar el modelo de mediación a las variables de nuestro interés se deriva la
siguiente hipótesis de mediación: la cultura media la relación positiva entre
pensamiento crítico y comprensión lectora. De esta manera, el pensamiento
crítico actuará de variable independiente, el desempeño en un test de
comprensión escrita actuará de variable dependiente y la cultura actuará de
variable mediadora, tal como lo muestra la figura 2.
25
Figura 2: Modelo de mediación aplicado a las variables de pensamiento crítico y cultura
Para probar la mediación que efectúa la cultura entre el pensamiento crítico y
la comprensión resulta adecuado utilizar el método tradicional de testeo
desarrollado por Baron & Kenny (1986). Este método consta de cuatro pasos,
ilustrados en la figura 2 y explicados a continuación.
Figura 3: Método de testeo de un modelo de mediación.
Primero, se realiza una regresión (τ) para saber si la variable independiente (X)
predice la variable dependiente (Y).
26
Segundo, se realiza una regresión (α) para saber si la variable independiente
(X) predice la variable mediadora (M).
Tercero, se realiza una regresión (β) para saber si la variable mediadora (M)
predice la variable dependiente (Y).
Cuarto, se realiza una regresión (τ’) para saber si la variable independiente (X)
no predice la variable dependiente (Y), mientras se controla por la variable
mediadora (M).
Si todos los pasos tienen resultados significativos, entonces la mediación es
total. Si, en cambio, en el paso cuarto la regresión entre la variable
independiente (X) y la variable dependiente (Y) sigue siendo significativa,
mientras se controla por la variable mediadora (M), entonces la mediación es
parcial.
27
2. TAREAS IMPLEMENTADAS. DISEÑO Y VALIDACIÓN DE
TEST DE PENSAMIENTO CRÍTICO
Para implementar el modelo de mediación de pensamiento crítico y cultura es
necesario la construcción y validación de instrumentos que midan los factores
indicados. En lo que sigue se explicará cuál fue el proceso de construcción del test de
pensamiento crítico y su posterior validación, es decir, un vértice del triángulo que
constituye el modelo. El test de cultura aún está en proceso a la fecha de la escritura
de esta tesis.
2.1 Test de pensamiento crítico.
2.1.1 Introducción La inclusión del pensamiento crítico en la educación escolar es uno de los
aspectos centrales en la discusión sobre las principales habilidades
identificadas como necesarias para el siglo XXI (Greenhill, 2009). Se ha dicho
que el pensamiento crítico es un prerrequisito esencial para la actividad
humana responsable (Marques, 2012), y fundamental para el desempeño
social, laboral y ético de los ciudadanos (Griffin, McGaw & Care, 2012;
Greenhill, 2009). El desarrollo de habilidades de pensamiento crítico provee a
los individuos con las herramientas necesarias para tomar decisiones por sí
mismos y no dejarse convencer por creencias que carezcan de evidencias
sólidas (Halpern, 2003; Mulnix, 2012).
Existe una amplia gama de definiciones de pensamiento crítico desde posturas
más filosóficas vinculadas al pensamiento clásico y al desarrollo humano
(Nussbaum, 2011) hasta perspectivas destinadas a su recepción y desarrollo en
28
las disciplinas educativas (Facione, 1990; Halpern, 2003; Bailin, 2002). No
obstante las distintas tendencias, se puede identificar que uno de los
componentes esenciales del pensamiento crítico está centrado en que se trata de
un proceso metacognitivo. El pensamiento crítico involucra competencias que
nos permiten no solo pensar sobre el mundo (habilidades de primer orden),
sino pensar sobre el pensamiento (habilidades de segundo orden) (Kuhn, 1999;
Halpern, 2003). El carácter metacognitivo tiene consecuencias instruccionales
y está en directa relación con la percepción y comprensión del contexto
(Halpern, 2003). Así, por ejemplo, se ha establecido que los procesos
metacognitivos vinculados al pensamiento crítico son un componente
fundamental en la transferencia del conocimiento obtenido (Nickerson, 1988).
En este trabajo se utilizará una definición que haga explícito este vínculo con la
metacognición definiendo el pensamiento crítico como
"a metacognitive process, consisting of a number of sub-skills (e.g. analysis, evaluation and inference) that, when used appropriately, increases the chances of producing a logical conclusion to an argument or solution to a problem" (Dwyer, Hogan & Stewart, 2014, p.43). La importancia del pensamiento crítico en el ámbito educacional está
justificada por décadas de desarrollo teórico y práctico (Lai, 2011). Su
inclusión en los currículum escolares es ampliamente reconocida, al menos, a
partir de la influencia de John Dewey en la primera mitad del siglo XX (Bean,
2011). Facione (1990) recomienda que el desarrollo del pensamiento crítico
sea un objetivo en todos los niveles del currículum K-12. En este sentido, la
instrucción del pensamiento crítico en la educación escolar debería incluir la
instrucción de estas habilidades integradas a las actividades en el aula (Bailin,
29
et al. 1999). Es importante que la inclusión del pensamiento crítico sea a una
edad temprana, puesto que se han revelado diferencias significativas entre los
alumnos con educación temprana y los que no (Osakwe, 2009).
Sin embargo, aunque la relevancia del pensamiento crítico se haya defendido
sostenidamente en materias educacionales a nivel mundial, no hay un
desarrollo suficiente de su medición por medio de actividades en la sala de
clases. Según la UNESCO (2000), se necesita la medición de los resultados del
aprendizaje de esta habilidad para mejorar la calidad de la educación. Yeh
(2001) ha declarado que si se acepta que los test guían el currículum y la
instrucción, una manera eficiente de mejorar la calidad de la educación en
pensamiento crítico es construir mejores test.
La literatura ha reconocido que para medir el pensamiento crítico de manera
relevante se requiere conocimiento específico del dominio en el que se
Anexo A. Tablas Tabla 4: : Resumen puntajes y dimensiones
Decodificar la relevancia
Identificar qué elementos son relevantes para resolver un problema 0,65 0,34
Determinar el papel de las imágenes visuales en una narración (*)
0,8 0,35
Aclarar significado
Representar un resultado o una operación de diferentes formas
0,48 0,49 Aclarar el uso de una 0,64 0,38
Habilidad Definición Sub dimensiones Indicadores de logro Dificultad Discriminación
Interpretación
Comprender y expresar el significado o importancia de una gran variedad de experiencias, situaciones, datos eventos, juicios, convenciones, creencias, reglas, procedimientos o criterios.
Categorización Clasificar elementos según ciertas reglas, criterios o procedimientos
0,7 0,48
70
convención
Aclarar una idea a través de un ejemplo. 0,39 0,37
Análisis
Identificar las relaciones inferenciales convencionales y reales entre declaraciones, preguntas, conceptos, descripciones u otras formas de representación para expresar creencias, juicios, experiencias, razones, información u opiniones
Examinar ideas
Comparar conceptos o afirmaciones determinando similitudes y diferencias.
0,72 0,51
Detectar argumentos
Identificar si un argumento está a favor o en contra de una afirmación dada. 0,21 0,33
Analizar argumentos
Identificar el punto principal de un argumento. (*) 0,35 0,42
Identificar las razones que apoyan un argumento. (*)
0,35 0,42
Evaluación
Evaluar la credibilidad de las declaraciones u otras representaciones que son cuentas o descripciones de la percepción, experiencia, situación, juicio, creencia u opinión de una persona; y para evaluar la lógica de las relaciones deductivas entre las declaraciones, descripciones, preguntas u otras formas de representación.
Evaluar afirmaciones
Reconocer los factores relevantes para determinar el grado de credibilidad de una fuente de información u opinión.
0,46 0,42
Evaluar argumentos
Juzgar si una conclusión es correcta a partir de las premisas utilizadas. 0,28 0,28 Evaluar la fuerza lógica de una objeción dado un argumento. 0,63 0,37
71
Juzgar si un argumento es pertinente, aplicable o tiene implicancias para una situación. 0,65 0,52
Evaluar alternativas Evaluar los beneficios y dificultades de diferentes alternativas. (*)
0,67 0,62
Inferencia
Identificar y ratificar elementos requeridos para deducir conclusiones razonables; elaborar conjeturas e hipótesis; considerar información pertinente y deducir consecuencias a partir de datos, afirmaciones, principios, evidencias, juicios, creencias, opiniones, conceptos, descripciones, cuestionamientos u otras formas de representación
Cuestionar evidencia
Discriminar si una información es útil para construir un argumento 0,81 0,23
Identificar si un inferencia viene desde la evidencia.
0,43 0,31
Identificar qué información adicional es necesaria para decidir entre dos opiniones contradictorias
0,36 0,33 Aceptar o rechazar una hipótesis a partir de la evidencia empírica 0,46 0,3
Proponer alternativas
Dado un conjunto de prioridades con el cual se puede o no estar de acuerdo, visualizar los beneficios y las dificultades que resultarán de su aplicación al tomar 0,6 0,61
72
decisiones. (*)
Usa distintas estrategias para resolver problemas. (*) 0,81 0,55
Sacar conclusiones Llegar a una conclusión válida a partir de las evidencias.
0,69 0,52
Argumentación / Explicación
Ordenar y comunicar a otros los resultados de nuestro razonamiento; justificar el razonamiento y sus conclusiones en términos de evidencias, conceptos, metodologías, criterios y consideraciones del contexto y presentar el razonamiento en una forma clara, convincente y persuasiva.
Indicar resultados
Comunicar las conclusiones de un procedimiento. (*)
0,67 0,68
Comunicar en forma gráfica las relaciones entre conceptos e ideas
0,46 0,45
Elaborar una narración en la que se examine, en relación a un tema, el cambio a través del tiempo
0,82 0,35
Justificar procedimientos
Explicitar los estándares utilizados para evaluar una obra literaria 0,75 0,64 Describir la estrategia utilizada para tomar una 0,18 0,41
73
decisión en una forma razonable
Presentar argumentos
Argumenta a favor o en contra de un punto de vista 0,63 0,65 Explicar la comprensión de un concepto. (*) 0,35 0,14 Identificar y expresar evidencias y posibles contra evidencias como una contribución dialéctica a la forma en que piensan otras personas y para su propio pensamiento. 0,72 0,66
(*) Ítems basados en el Delphi Report. (**) Indicadores que se midieron en más de una ocasión.
Tabla 5: Valores promedio de Dificultad y Discriminación para el pre y post Análisis de Ítems.
Habilidad Pre Análisis de Ítems Post Análisis de Ítems Dificultad Discriminación Dificultad Discriminación Interpretación 0,62 0,43 0,6 0,45
Análisis 0,36 0,38 0,47 0,45
Inferencia 0,58 0,41 0,57 0,44
Evaluación 0,47 0,4 0,6 0,48
Explicación 0,41 0,47 0,59 0,57
Anexo B. Paper en ingles Designing and implementing a test for measuring critical thinking in primary
school
Abstract
The importance of critical thinking in education is underpinned by decades of
theoretical and practical work. Differences have been demonstrated between students
who receive education in this area from an early age and those who do not. However,
not enough work has been done to measure these skills in a classroom setting. Given
that the best time to teach critical thinking is during the first years of primary education,
we designed a test to determine the level of critical thinking among 3rd and 4th grade
students in Language Arts using a graphic novel. We showed the legitimacy of the
instrument through Construct Validity, Content Validity, Pearson product-moment
correlation, Reliability and Item Analysis. Using the instrument we studied how critical
thinking skills differ among 3rd grade students, according to their socioeconomic status
(SES), studying schools with low, middle and high SES. We found significant
differences between the schools, which suggest that there may be a relationship
between socioeconomic status and the development of critical thinking skills. The test
presented in this study is an improvement on existing assessment tools as it replaces
unidimensional models with models that provide a more detailed and multidimensional
picture of student learning.
Keywords: Critical Thinking, Assessment models, 21st Century Skills, Culture,
Graphic and Textual Narrative
1. - Introduction
Teaching critical thinking in schools is one of the main topics in the discussion
regarding so-called 21st Century skills (Greenhill, 2009). Critical thinking has been
regarded as an essential requirement for responsible human activity (Marques, 2012). It
is also considered fundamental if citizens are to perform their social, professional and
when reading graphic novels students do not only improve their basic reading skills;
they also discover new ways to think about the interaction between the image and text.
Following this, a series of performance criteria were defined for each of the skills
included in the theoretical framework (Table 4 in Annex 1) (Facione, 1990). The
assessment of these criteria, using reading-writing activities, allowed the level of
critical thinking to be determined. The narrative therefore had to be structured around
these criteria. Questions were developed for each of the performance criterion so as to
cover all of the skills (interpretation, analysis, inference, evaluation and explanation).
There was a higher percentage of questions related to the skill of constructing
explanations. This decision is justified by the fact that the cognitive strategies used by
students when constructing explanations are heavily influenced by metacognition
(McNamara & Magliano, 2009). This link is particularly important when developing
critical thinking questions. When constructing an explanation, the student’s answer is
not only based on the contents of the question; their explanation may also come from
metacognitive considerations, such as analysing the type of task at hand and different
strategies for completing the task (Flavell, 1979). Such emphasis is placed on
metacognition because it is this process that articulates critical thinking (Dwyer, 2014).
Given the above, it was decided that using short written activities based on questions
would be most beneficial. This is a particularly effective teaching strategy for assessing
thinking as it provides an idea of the student’s mental process when developing an
argument (Bean, 2011). It was also decided to have the questions appear throughout the
story, as this has been proven to be a more effective strategy than asking the questions
at the end of the story (Van Den Broek et al., 2011). An example of this can be seen in
Figure 1, which shows one of the scenes from the graphic novel, together with a
question for the student. In this scene one of the characters (the Detective) tries to fool
another character (Martin) by using a disguise consisting of a fake moustache. The
interaction between the act of wearing a disguise and the visual display of the
moustache allows a series of factors to be measured. The first of these is interpretation,
by determining the role of visual images in a narrative. Here, the student has to be
capable of understanding the role of the object as part of the disguise and not as an
innate characteristic of the character. The second factor that is measured is evaluation,
by weighing up the pros and cons of a given alternative. In this case, the student
assesses whether the moustache is a good or bad disguise with which to fool the other
character. The third factor is explanation, as the students not only have to decide
whether or not it is a good disguise, they also have to give their reasons (Facione,
1990). The criteria used to evaluate their written responses are also made explicit. The
markers must therefore decide whether or not the student’s response meets these
criteria. If it does they are awarded 1 point; if it does not they are awarded 0 points. The
marking guidelines were developed with the guidance of two experts in education and
Language Arts, with the aim of ensuring that the exercises were in line with the skill
that was supposedly being measured.
Figure 1. Example question.
2.2- Criteria used to validate the test
Construct validity, content validity and criterion validity were all analysed in order to
validate the test (Brown, 2000; Wolming, 1998). Cronbach’s alpha was also used for
this purpose (Cronbach, 1971). These analyses were supplemented by an item analysis.
The aim of this analysis was to gather data in order to highlight the need to review,
select and remove any questions that were very difficult, very easy, or that failed to
discriminate (Nitko 1996).
An ANOVA was conducted to provide evidence of the construct validity. The
hypothesis of the ANOVA is that there would be significant differences in critical
thinking skills between students in 3rd and 4th grade (Brown, 2000). The presence of
this difference validates the construct as it is coherent with the literature, which shows
that the level of critical thinking linked to metacognition increases with age (Veenman,
Wilhelm, & Beishuizen, 2004). This is explained by the fact that in 3rd grade students
can give causal explanations, make simple predictions (Hapgood et al., 2004) and
partially correct analogies (May et al., 2006). From 4th grade on, they are capable of
developing problem solving strategies, defining tasks and monitoring their thoughts
(Hudgins et al., 1989).
A panel of experts was used to demonstrate content validity (Rubio et al., 2003). The
panel included an expert in education, as well as an expert in philosophy and language
arts. The panel’s opinions were then compared with the test developers’ opinions in
order to judge the level of consistency between the two (Dillashaw & Okey, 1980;
Nitko, 1996). Four think aloud sessions were also included in the study to analyse
content validity (Ericsson & Simon, 1993; Flaherty, 1974). These sessions were
conducted using students of a similar age to those used in the study, as suggested by
Facione (1990).
Correlations have been detected between critical thinking test scores and school grades
among Chilean high school students (Santelices et al., 2011). Pearson’s product
moment correlation was therefore used to detect correlations between the test scores
and Language Arts grades so as to analyse criterion validity. This sample strategy was
used as it was not possible to access the full report cards for all of the students (Ary et
al., 2013).
Furthermore, Cronbach’s alpha was also used to analyse the test’s reliability. This
index is used to measure the internal consistency of the test (Cronbach, 1971). An item
analysis was then conducted using the test results. The aim of this was to use objective
data, i.e. difficulty and discrimination indices for each question, to identify the need to
review, remove or modify any of the questions (Nitko, 1996). These indices were
classified according to the area of critical thinking measured by each question so as
then to observe which areas the students found the most and least difficult.
2.3.- Experimental work
To study the relationship between critical thinking and socioeconomic status, a
stratified sample was selected based on the three types of schools that are found in the
Chilean education system (state, state-subsidized and private). Each type of
establishment corresponds to a different socioeconomic status: low, middle and high,
respectively (Gallego, 2002). Furthermore, to analyse construct validity, the study was
conducted with students from two grade levels: 3rd and 4th.
The participants in the sample, Table 1, included 301 students from 3rd and 4th grade
from the three types of schools. It was decided to use an ANOVA in order to prove the
existence of significant differences between the different groups.
3rd Grade Gender / Socioeconomic status High Middle Low Male 55 13 17 Female 47 17 14 Total 102 30 31 4th Grade Gender/ Socioeconomic status High Middle Low Male 40 14 18 Female 42 14 10 Total 82 28 28 Table 1. Participants in the study by socioeconomic status and gender.
3.- Results
3.1- Construct Validity
The results of the Shapiro-Wilk test suggest that the students from 3rd and 4th grade
were not normally distributed (3.246e-06 for 3rd grade and 1.613e-07 for 4th grade).
Furthermore, the Bartlett test shows that variances within the study groups were
homogeneous (a value of 0.3007). Although the normality assumption was not met,
Sheng (2008) suggests that ANOVA is a robust test. It is therefore possible to use this
analysis, even though some of the assumptions were violated. In order to do so, the
Kruskal-Wallis test was used as a non-parametric alternative to address the violation of
the normality assumption (Osborne, 2008).
The test used to analyse the construct validity of the test suggests that there are
significant differences between 3rd and 4th grade, at p<0.001.
3.2- Content Validity
A panel of experts examined the relationship between the questions on the test and the
objectives that were established for measuring critical thinking. This panel was more
than 70% in agreement with the test that had been developed, which is an acceptable
level. The think aloud sessions also allowed questions that were misunderstood or
unclear to be corrected in the final version of the test.
3.3- Pearson product-moment correlation
The Pearson product-moment correlation between the test scores and the students’
grades was 0.805 for 3rd grade and 0.723 for 4th grade. Dancey & Reidy (2004) classify
strong correlation as being greater than 0.7. The results of this analysis therefore
provide strong evidence of the criterion validity.
3.4- Reliability
Before the item analysis, Cronbach’s alpha for the test was 0.917. Following the item
analysis, Cronbach’s alpha was 0.909, which shows that the test is reliable (George &
Mallery, 2003). The latter value is the result that was obtained having analysed the
items according to their level of difficulty and discrimination, as detailed in the
following section.
3.5- Item analysis
The results from the item analysis were organized according to the area of critical
thinking that was measured, and measured the level of difficulty and discrimination of
each item (Table 2). A range of between 0.4 and 0.6 was chosen for this study as
Womer (1968) suggests that this range can determine whether or not a question should
be included on a test. Nitko (1996) also suggests that items with a difficulty index of
less than 0.2 or 0.8 should also be rejected as they are too easy or too difficult. This
recommendation was taken into account for the test used in this study. Finally, it was
decided that questions with a difficulty index between 0.2 and 0.4 or between 0.6 and
0.8 would also be included, so long as they added to the coherence of the narrative and
provided further information. Furthermore, a discrimination index greater than 0.3 was
considered acceptable for any item on the test. Therefore, items with an index greater
than 0.3 were considered good and items with an index less than 0.3 were considered
bad (Adkins, 1974; Hinkle et al., 2003; Nitko, 1996). A summary of the distribution for
all of the questions according to their level of difficulty and discrimination can be
found in Table 4 in the Annex. This table also shows the skill and sub-skill to which
each question belongs.
The results in Table 5 reveal that Analysis was the area with the highest level of
difficulty (0.36) and lowest level of discrimination (0.38). The area with the lowest
level of difficulty was Interpretation, with an average of 0.62.
By following Womer’s (1968) criteria regarding difficulty and discrimination, a
selection was made of the items that would initially be included on the test (items 2a, 3,
4, 6a, 10, 14b, 22, 23b and 27a). Nitko’s (1996) criteria were then used to select
additional items for the test (1a, 2b, 7, 8, 11, 12, 13, 14a, 16, 17a, 17,b, 18, 19a, 19b,
21, 26, 28a, 28b, 29a and 29b). The aim of this was to obtain more information, while
preserving the overall coherence of the test. Finally, one item (6b) was removed from
the test as it had a correlation of 1 with another item and both items targeted the same
performance indicator.
By doing so, the difficulty and discrimination levels for all of the items fell within the
aforementioned ranges suggested by Womer (1968) and Nitko (1996) (Table 4,
Understanding and expressing the meaning or importance of a wide variety of experiences, situations, data, events, judgements, conventions, beliefs, rules, procedures or criteria.
Categorize Classifying elements according to certain rules, criteria or procedures.
0.7 0.48
Decode significance
Identifying which elements are important for solving a problem. 0.65 0.34
Determining the role of images in a narrative. (**)
0.8 0.35
Clarify meaning
Representing a result or operation in different ways.
0.48 0.49 Clarifying the use of a convention. 0.64 0.38 Clarifying an idea by 0.39 0.37
1 The definitions of the skills are taken from the Delphi Report (Facione, 1990)
Identifying the intended and actual inferential relationships among statements, questions, concepts, descriptions, or other forms of representation intended to express belief, judgment, experiences, reasons, information, or opinions.
Examine ideas
Comparing concepts or statements by determining similarities and differences. 0.72 0.51
Identify arguments
Identifying whether an argument is in favour of or against a given statement. 0.21 0.33
Analyse arguments
Identifying the main point of an argument. (**)
0.35 0.42 Identifying the reasons that support an argument. (**) 0.35 0.42
Evaluation
Assessing the credibility of statements or other representations that are accounts or descriptions of a person's perception, experience, situation, judgment, belief, or opinion; also assessing the logical strength of the actual or intended inferential relationships among statements, descriptions, questions, or other forms of representation.
Assess claims
Recognizing the important factors for determining the degree of credibility of a source of information or opinion.
0.46 0.42
Assess arguments
Judging whether a conclusion is correct based on the premises adopted. 0.28 0.28 Assessing the strength of the logic of an objection to an argument. 0.63 0.37
Judging whether an argument is relevant, applicable or has any implication on a situation. 0.65 0.52
Assess alternatives Assessing the advantages and disadvantages of different alternatives. (**)
0.67 0.62
Inference
Identifying and securing elements needed to draw reasonable conclusions; forming conjectures and hypotheses, considering relevant information and reducing the consequences flowing from data, statements, principles, evidence, judgments, beliefs, opinions, concepts, descriptions, questions, or other forms of representation.
Query evidence
Determining whether information is useful for building an argument. 0.81 0.23 Identifying whether an inference comes from evidence. 0.43 0.31
Identifying what additional information is needed to decide between two contradicting opinions.
0.36 0.33 Accepting or rejecting a hypothesis based on empirical evidence. 0.46 0.3
Propose alternatives
Given a set of priorities with which one may or may not agree, seeing the advantages and disadvantages that will 0.6 0.61
come from implementing a decision once it has been made. (**)
Using different strategies to solve problems. (**)
0.81 0.55
Draw conclusions Arriving at a valid conclusion based on evidence.
0.69 0.52
Reasoning / Explanation
Stating and justifying reasoning in terms of the evidential, conceptual, methodological, criteriological, and contextual considerations upon which one's results were based; also presenting one's reasoning in the form of cogent arguments.
State results
Communicating the conclusions reached by following a procedure. (**)
0.67 0.68
Graphically communicating the relationship between concepts and ideas. 0.46 0.45
Developing a narrative which examines the changes in a topic over time.
0.82 0.35
Justify procedures
Stating the standards used to assess a literary work. 0.75 0.64
Describing the strategy used to make a reasonable decision.
0.18 0.41
Present arguments
Arguing in favour of or against a point of view.
0.63 0.65 Explaining the comprehension of a concept. (**) 0.35 0.14 Identifying and expressing evidence as part of reasoning for and against other people’s and one’s own way of thinking. 0.72 0.66
Table 4. Summary of scores and skills. (*) Items based on the Delphi Report.
(**) Indicators that were measured on more than one occasion.
Table 5. Average scores for Difficulty and Discrimination, before and after the Item Analysis.
Anexo C. Recepción del Paper en Revista Académica Dear Dr. Rodrigo Del Rio, You have been listed as a Co-Author of the following submission: Journal: Thinking Skills and Creativity Corresponding Author: Damian Gelerstein Co-Authors: Rodrigo Del Rio; Miguel Nussbaum, Ph.D; Pablo Chiuminatto, Ph.D Title: Designing and implementing a test for measuring critical thinking in primary school If you did not co-author this submission, please contact the Corresponding Author of this submission [email protected];[email protected]; do not follow the link below. An Open Researcher and Contributor ID (ORCID) is a unique digital identifier to which you can link your published articles and other professional activities, providing a single record of all your research. We would like to invite you to link your ORCID ID to this submission. If the submission is accepted, your ORCID ID will be linked to the final published article and transferred to CrossRef. Your ORCID account will also be updated. To do this, visit our dedicated page in EES. There you can link to an existing ORCID ID or register for one and link the submission to it:
http://ees.elsevier.com/tsc/l.asp?i=7055&l=UUAIE5G1 More information on ORCID can be found on the ORCID website, http://www.ORCID.org, or on our help page: http://help.elsevier.com/app/answers/detail/a_id/2210/p/7923 Like other Publishers, Elsevier supports ORCID - an open, non-profit, community based effort - and has adapted its submission system to enable authors and co-authors to connect their submissions to their unique ORCID IDs. Thank you, Thinking Skills and Creativity