-
1
MINISTERIO DE SALUD PUBLICA
CENTRO NACIONAL DE
PERFECCIONAMIENTO MEDICO
Vicedireccin de Evaluacin
Calle I N 202 esq. a Lnea, Vedado, Ciudad de La Habana, Cuba. CP
10400. Tel: (537) 32-5162
EM: [email protected]
Carpeta N 4
Lic. Silvio Soler Crdenas
Dr. Ramn S. Salas Perea
1997
-
2
1. INTRODUCCION.
La evaluacin de la competencia profesional en salud comprende:
la evaluacin de los
conocimientos, las habilidades y actitudes de los profesionales,
enfermeros y dems
tcnicos de la salud, as como su nivel de organizacin, retencin y
empleo en la prctica
acadmica y laboral.
Por su parte, el Plan de Accin para el Incremento de la Calidad
de los Recursos Humanos
en el Sistema Nacional de Salud (anexo de la Res. Min. No. 142
de 1997), establece que las
evaluaciones de la competencia profesional relativas al
desarrollo de los conocimientos se
efectuarn mediante exmenes tericos confeccionados sobre la base
de problemas con el
empleo fundamentalmente de items objetivos, preguntas de ensayo
de respuestas cortas y de
ensayo modificado.
Como consecuencia de este dictado, se sita en primer plano la
necesidad de confeccionar
instrumentos evaluativos con un alto grado de validez y
confiabilidad, con la finalidad de
que la informacin obtenida por esta va contribuya a incrementar
la calidad de los procesos
educacionales y de identificacin de necesidades de aprendizaje
de los recursos humanos de
salud.
A tenor con esta situacin, el Grupo Central de Evaluacin de la
Competencia y el
Desempeo Profesional, decidi confeccionar una serie de
materiales que tratan elementos
esenciales acerca del planeamiento, confeccin y valoracin de la
calidad de instrumentos
evaluativos.
Dichos materiales van dirigidos especialmente a quienes, de una
manera u otra, estn
-
3
comprometidos con el encargo de introducir, validar y
generalizar la evaluacin de la
competencia y el desempeo en los procesos de formacin y
superacin de los recursos
humanos en le Sistema Nacional de Salud.
Aparece as el presente material, por completo destinado a la
presentacin de los
procedimientos ms empleados en los estudios de calidad de
instrumentos evaluativos. Se
centra la atencin en dos ncleos conceptuales bsicos, a saber:
validez y confiabilidad, los
cuales se desarrollarn manteniendo una tnica tan elemental como
lo permita el tema, de
manera que resulte fcil su comprensin as como su oportuna
aplicacin.
Una vez concluida la confeccin de un instrumento evaluativo (IE)
se presenta el problema
de determinar en qu medida la informacin obtenida por conducto
de su aplicacin refleja
el nivel de competencia del examinado. Surgen, muy naturalmente,
las siguientes
preguntas:
- Mide el IE lo que realmente debe medir?
En otras palabras: Cul es el grado de correspondencia entre las
preguntas del IE y los
contenidos a evaluar?
- Con qu precisin y estabilidad se mide lo que se est
midiendo?
La primera pregunta est relacionada con la "validez" de un IE;
la segunda concierne a lo
que se conoce con el trmino "confiabilidad".
En la literatura especializada aparecen otros conceptos para
evaluar la calidad de los IE. En
este sentido Guilbert (1) recomienda tener en cuenta otros
aspectos entre los que estn los
siguientes:
- Objetividad: grado de concordancia entre los juicios emitidos
por evaluadores
-
4
independientes y competentes sobre lo que constituye una "buena"
respuesta para
cada uno de las preguntas de un IE.
- Pertinencia: es el grado de respeto de los criterios
establecidos en la seleccin de las
preguntas para que sean conformes con los fines y objetivos del
IE.
- Equilibrio: grado de concordancia entre la proporcin de
preguntas reservadas a
cada uno de los objetivos y la proporcin ideal para un
instrumento de este tipo.
- Equidad: grado de concordancia entre las preguntas planteadas
en el IE y el
contenido que se pretende evaluar.
- Discriminacin: cualidad de cada pregunta de un IE que permite
distinguir los
estudiantes de altos y bajos rendimientos.
- Eficacia: cualidad de un IE que permite el mayor nmero posible
de respuestas
independientes por unidad de tiempo.
No obstante, en todo lo que sigue nos limitaremos a las nociones
de "validez" y
"confiabilidad". Diremos, por tanto, que un IE tiene calidad en
la medida en que es vlido
y confiable y sus resultados son generalizables.
2. LA CONFIABILIDAD DE LOS INSTRUMENTOS EVALUATIVOS
Cuando se aplica un IE a un conjunto de personas con la
finalidad de medir un determinado
conocimiento, se desea tener cierto margen de seguridad con
respecto a la posibilidad de
obtener resultados similares cuando el instrumento se aplica en
varias ocasiones (o bien un
instrumento equivalente) a las mismas personas. Esta propiedad
de reproductibilidad o
estabilidad de las calificaciones que deben cumplir los IE es lo
que se llama "confiabilidad".
-
5
En la realidad educacional es prcticamente imposible
confeccionar un IE que sea
absolutamente confiable; lo cual se debe a que los instrumentos
nunca pueden abarcar todo
el conocimiento que se pretende medir, sino slo una parte del
mismo y, por tanto, siempre
subyace el "error de muestreo".
Naturalmente, cuanto mayor sea la muestra de conocimientos
incluida en un IE, menor ser
este error de muestreo; de lo cual no podemos inferir que
mientras ms extenso sea un IE
necesariamente ser ms confiable, pues conforme aumenta la
dimensin del IE, otro tanto
sucede con la duracin de su aplicacin y en consecuencia,
incidirn otros factores -propios
del examinador- como son la fatiga, la tensin psquica y el deseo
de terminar, que
contribuyen a incrementar la falibilidad del instrumento.
De manera que en la prctica se presenta el problema de concebir
un IE lo suficientemente
extenso para que comprenda una muestra amplia de los
conocimientos esenciales o claves
que se quieren medir y, al mismo tiempo, lo necesariamente corto
para que se pueda
responder en un intervalo de tiempo relativamente breve o
"normal".
Existen muchos factores que dependen tanto del examinado como
del escenario en donde se
desarrolla la evaluacin y que influyen en los resultados de un
IE y que por tanto siempre
tendremos en cuenta en toda evaluacin de la competencia
profesional. Cronbach (2)
seala cuatro grupos de factores, a saber:
1. Caractersticas generales y duraderas del examinado.
a) Habilidades generales, por ejemplo la lectura.
b) Habilidades para comprender las instrucciones de IEs.
c) Habilidades para resolver los problemas de tipo general
presentados en los
-
6
IE.
d) Actitudes, reacciones emotivas y hbitos caractersticos de las
personas
sometidas al IE.
2. Caractersticas duraderas y especficas del individuo.
a) Conocimientos y habilidades que requieren los problemas
especficos del IE.
b) Actitudes, reacciones emotivas, o hbitos que se ponen de
manifiesto en las
personas al ser evaluadas.
3. Caractersticas generales y momentneas del examinado, que
afectan sistemtica-
mente la calificacin del IE en un tiempo determinado.
a) La salud, la fatiga y la tensin psquica.
b) La motivacin, ya sea positiva o negativa, que produce el
hecho de sentirse
evaluado.
c) Los efectos del calor, la luz, la ventilacin, etc.
d) Actitudes actuales, reacciones emotivas o fuerza de los
hbitos, en cuanto
todos estos representan divergencias de los rasgos ms duraderos
y estables
del examinado.
4. Caractersticas temporales y no generales del examinado.
a) Cambios debidos a la fatiga o a la motivacin producidos por
el IE.
b) Fluctuaciones en la atencin, en la coordinacin o en los
patrones de juicio.
c) Fluctuaciones en la memoria de hechos particulares.
d) Nivel de prctica en la ejecucin de las habilidades o en los
conocimientos
requeridos para el problema en cuestin.
-
7
e) Buena suerte en la seleccin de las respuestas al
adivinarlas.
2.1. El concepto de confiabilidad.
La confiabilidad por lo tanto no es ms que la estabilidad en los
resultados de un IE, ya sea
al repetirlo al grupo de educandos, como al ser calificado por
diferentes profesores. Se
refiere a la constancia de los resultados en el tiempo, segn los
tipos de preguntas
empleadas y de acuerdo con los criterios de los evaluadores. En
la misma pueden tambin
influir: el error de muestreo, las caractersticas del examinado
y las condiciones del
escenario donde se desarrolla.
Es un concepto estrictamente estadstico que se expresa por un
coeficiente de confiabilidad
o a travs del error tpico de las mediciones efectuadas.
Coeficientes de confiabilidad.
En la literatura especializada se reportan varios procedimientos
para cuantificar la
confiabilidad de IEs. Entre ellos se citan:
- El coeficiente (3)
- El coeficiente (4)
- El coeficiente 0 (5)
- El coeficiente de Kuder-Richarson (6)
- El coeficiente de Cronbach (7)
Solo explicaremos el coeficiente de Cronbach porque segn la gran
mayora de los
autores (2-6-8-9-14-16):
1. Es el ms utilizado en los estudios contemporneos de calidad
de instrumentos
-
8
evaluativos lo que nos permite comparar nuestros resultados con
los que se reportan
en la literatura mundial.
2. Es el mejor mtodo para estimar el error de muestreo de los
IE.
3. Nos proporciona una medida de la consistencia interna de los
IE.
4. Puede calcularse an en el caso de que empleemos preguntas de
diferentes formatos
en el IE.
2.3. Fundamentacin matemtica del coeficiente de Cronbach.
A continuacin explicaremos las bases matemticas sobre las que se
fundamenta este
coeficiente, a fin de poder comprender su utilidad. En ningn
caso los profesores tendrn
que efectuar estas operaciones pero es esencial que entiendan el
fundamento terico del
mismo.
2.3.1. Frmula de clculo de la varianza.
La varianza es una medida del grado de dispersin de un conjunto
de datos. Se denota por
S2 y su frmula de clculo es la siguiente:
S n
i 1
X2 i
1
n - 1
n (X)22
-
9
donde: n: cantidad de datos
x : promedio de los datos n
XI2 : suma de los cuadrados de los datos i = 1
Ejemplo 1: Clculo de la varianza para los datos siguientes:
12; 10; 15; 13; 11; 14; 14
Paso #1. Determinacin de la cantidad de datos: "n"
Para este ejemplo se tiene que n = 7
Paso #2. Clculo del promedio de los datos: x
x = suma de los datos dividida por la cantidad de datos
= (12 + 10 + 15 + 13 + 11 + 14 + 14) /7 = 89 / 7=12.71
= 12.71
Paso #3. Clculo del cuadrado de cada dato.
(12)2 = 144 (10)2 = 100 (15)2 = 225 (13)2 = 169
(11)2 = 121 (14)2 = 196 (14)2 = 196
Paso #4. Clculo de la suma de los cuadrados de cada dato.
n
XI2 = 144 + 100 + 225 + 169 + 121 + 196 + 196 + 1151 i = 1
Paso #5. Sustituir en la frmula de la varianza los resultados
obtenidos en los pasos
-
10
#1, #2 y #4 y efectuar los clculos indicados.
Varianza = S2 = ( (1151 - 7 x (122,71)) / 6
= (1151 - 7 x 161,54) / 6
= (1151 - 1130,78) / 6
= 20,22 / 6
= 3,37
Finalmente se tiene que S2 = 3,37
2.3.2. Formulacin del coeficiente de Cronbach.
La frmula para el clculo de este coeficiente es la
siguiente:
Sik
2
i 1
Sx2
1k
k - 1
donde: k: cantidad de preguntas del
instrumento evaluativo
2
Sx : varianza de las califica- ciones del I.E.
2
Si: varianza de la i-sima pregunta del instru-
mento evaluativo.
-
11
Como se aprecia en esta forma
frmula, su cmputo requiere el
clculo de tantas varianzas como
nmero de preguntas tenga el
instrumento evaluativo.
2.3.3. Clculo del coeficiente de Cronbach.
Supongamos que se aplica un IE de 4 preguntas a 7 estudiantes y
se obtienen los siguientes
resultados:
TABLA #1.
CALIFICACIN DE LAS PREGUNTAS
ESTUDIANTES PI P2 P3 P4 CALIFICACIONES TOTALES
No. 1 20,7 20,8 19,0 23,1 83,6
No. 2 13,5 13,3 12,3 13,5 52,6
No. 3 16,8 15,0 15,1 17,3 64,2
No. 4 16,4 18,8 16,3 16,5 68,0
-
12
No. 5 18,8 16,7 20,6 19,2 75,3
No. 6 10,9 10,4 11,1 10,0 42,4
No. 7 04,3 07,1 05,6 06,2 23,2
El clculo del coeficiente de Cronbach requiere la ejecucin de
variadas operaciones y
resulta conveniente establecer un algoritmo que viabilice este
proceso algebraico. Para este
fin, se recomienda proceder segn la sucesin de ACCIONES que
presentamos a
continuacin. Ilustraremos cada una de dichas acciones con los
datos de la TABLA N 1.
Accin #1: Determinar el valor de "k", esto es: la cantidad de
preguntas del IE. Segn la
Tabla #1, se cumple que k = 4.
Accin #2: Calcular la varianza de cada pregunta del examen.
Tenemos que calcular, por
tanto, cinco varianzas una para cada pregunta (son cuatro) y la
que corresponde a las
calificaciones. Para el clculo de cada una de estas varianzas;
tendremos en cuenta los
pasos #1, al #5 del epgrafe 2.3.1.
Clculo de la varianza de la pregunta 1:
Paso #1. (Determinacin de la cantidad de datos)
n = 7
Paso #2. (Clculo del promedio aritmtico).
x = (20,7+13,5+16,8+16,4+18,8+10,9+4,3) / 7 =104,4 / 7 =
14,485
= 14,485
-
13
Paso #3. (Clculo del cuadrado de cada dato).
(20,7)2 = 428,49 (13,5)2 = 182,25 (16,8)2 = 282,24
(16,4)2 = 268,96 (18,8)2 = 353,44 (10,9)2 = 118,81
(04,3)2 = 018,49
Paso #4. (Clculo de la suma de los cuadrados de los datos).
n
XI2 = 428,49+182,25+282,24+268,96+353,44+118,81+18,49 i = 1
= 1652,68
Paso #5. (Sustitucin en la frmula de varianza).
2
S1 = [ 1652,18 - 7 x (14,485)} / 6.
= [ 1652,68 - 7 x 209,815 ] / 6.
= [ 1652,68 - 1468,705 ] / 6
= 183,975 / 6.
= 30,662.
2
La varianza de la pregunta 1 es S1 = 30,662
Ejecutando los cinco pasos anteriores con los datos de las otras
preguntas, #2, #3 y #4 y
adems con el del total de las calificaciones obtenemos los
siguientes resultados:
2
S2 = 22,72 2
S3 = 26,082 2
S4 = 32,574 2
-
14
S5 = 429,241
Accin #3. Calcular la suma de las varianzas de las
preguntas.
k
Si2 = 30,662 + 22,729 + 26,082 + 32,574 i = 1
= 112,047
Accin #4. Sustituir en la frmula del coeficiente de Cronbach los
valores obtenidos en
las acciones anteriores que corresponden a:
Cantidad de preguntas (valor de k)
k
Suma de las varianzas de las preguntas ( Si2 ) i = 1
2
- Varianza de las calificaciones ( Sx )
Finalmente, efectuar las operaciones indicadas.
7 112, 047 7
= 1 - = 1 - 0, 261 = 7 - 1 429,241 6
7
0,739 = 1,166 0,739 = 0,861
6
-
15
= 0,861
Como se aprecia, el cmputo del coeficiente de Cronbach requiere
efectuar muchas
operaciones algebraicas, por lo que para nuestro ejemplo se
necesitara una inversin de
aproximadamente 12 horas en operaciones matemticas.
Por suerte, esta abrumadora tarea se puede realizar en unos
pocos minutos al disponer de
alguno de los tantos software que hoy da existen. Baste
mencionar en ese sentido, entre
otros, dos conocidos software de procesamiento estadstico: el "
Statistical Package for
Social Sciences " (SPSS) y el "Statistica", ambos concebidos
para ambiente "Windows" con
soporte en microcomputadoras IBM-compatibles.
2.4. Interpretacin del coeficiente de Cronbach.
En la literatura contempornea, la mayora de los autores,
siguiendo a Anastasi (8) y a
Weiner (9), aceptan como adecuados en los exmenes escritos
basados en preguntas de tipo
test objetivo, los coeficientes que oscilan entre 0,80 y
0,85.
El Colegio de Mdicos de Familia de Canad en sus exmenes de
Certificacin de
Especialistas reporta que:
. En los exmenes escritos basados en respuestas cortas (SAMB)
considera aceptables
coeficientes entre 0,69 y 0,71 (10).
. En los exmenes de Simulacin Oral en el Consultorio Mdico
(SOOs) han obtenido
coeficientes entre 0,54 y 0,63 y consideran como aceptables los
coeficientes superiores a
0,60 (11,12).
-
16
. En los exmenes tipo ECOE con pacientes estandarizados y
preguntas de ensayo de
respuestas cortas han considerado como aceptables coeficientes
entre 0,71 y 0,77 (13,14).
En este tipo de examen otros autores han reportado coeficientes
entre 0,40 y 0,88 (15, 16).
Queda entonces planteada la necesidad de investigar cmo se
comportara este coeficiente
en nuestras Universidades Mdicas, tanto en las carreras de
Ciencias Mdicas, como en las
diferentes formas acadmicas del postgrado y tambin para las
actividades de la superacin
profesional. Para nuestro trabajo inicial consideraremos con
discrecin y no de manera
absoluta los indicadores internacionales antes sealados.
3. LA VALIDEZ DE LOS INSTRUMENTOS EVALUATIVOS.
Un aspecto importante de la calidad de un IE es el que se
refiere a la validez, es decir a la
correspondencia que existe entre lo que el IE pretende medir y
lo que mide realmente.
Ello abarca tanto las exigencias propias del IE, como la
determinacin de los ndices
valorativos que permiten su calificacin.
La validez nos proporciona un control directo de la forma en que
un IE cumple sus
propsitos. Es un concepto siempre especfico (17, 18, 19,
20).
La determinacin de la validez requiere criterios de expertos y
generalmente externos y nos
capacita para determinar el grado de acierto del diseo del IE a
partir de los resultados de
las calificaciones de los estudiantes, sobre la base de una
muestra representativa de los
mismos. Las calificaciones no se utilizan "per se" con fines
predictivos, sino para
comprobar la calidad del IE y fundamentar las inferencias que se
realizarn a partir de sus
resultados.
-
17
Tipos de estudios de validez
La validez usualmente se clasifica en tres grupos:
a) Validez de contenido.
b) Validez de criterio.
c) Validez de construccin.
a) Validez de contenido.
La validez de contenido consiste en el examen sistemtico del
contenido del IE para
determinar si constituye una muestra representativa del dominio
de conocimientos que se
pretende evaluar (dominio cognitivo).
Podra parecer que la mera inspeccin del contenido de un IE
bastara para establecer su
validez. Evidentemente esto no es cierto; un IE concebido para
evaluar, digamos, la
competencia de un internista en materia de HTA parecera vlido
simplemente porque
incluyese preguntas relativas al tratamiento de la HTA; no
obstante, si el dominio cognitivo
definido para esta situacin contempla, por ejemplo, slo
elementos de diagnstico, es claro
que este IE no sera vlido desde el punto de vista del
contenido.
Un estudio de validez de contenido debe incluir la ejecucin de
las siguientes tareas:
1. Definicin del dominio cognitivo del IE.
El dominio cognitivo ha de definirse con la suficiente amplitud
para incluir en l todos y
cada uno de los objetivos educativos principales a evaluar;
tales como: aplicacin de
principios, interpretacin de resultados, dominio terico de
conceptos importantes, etc.
Para evaluar la pertinencia del dominio cognitivo es conveniente
tener en cuenta:
1.1. Revisin de investigaciones: con frecuencia resulta
conveniente revisar la literatura
-
18
disponible para determinar los aspectos que con mayor frecuencia
se han tenido en cuenta
en la confeccin de IE con propsitos similares al que nos
ocupa.
1.2. Determinacin de condiciones extremas: la consideracin de un
amplio recorrido para
el nivel de dificultad de los contenidos que se pretende medir,
viabiliza la determinacin de
los niveles de asimilacin de los objetivos a incluir en el
IE.
1.3. Criterios de un panel de expertos: si algo caracteriza a
los estudios de validez de
contenido es el hecho de que sus resultados se basan
primordialmente en la opinin de un
grupo de expertos seleccionados para ese fin. Se requiere
entonces que stos se
caractericen por tener un conocimiento profundo del contenido
cientfico que se desea
medir, as como del sistema de habilidades que se desea
evaluar.
2. Establecimiento de un marco de referencia
Un criterio simple, pero no necesariamente aceptable, consiste
en establecer que todos los
objetivos son igualmente importantes. En ocasiones se dispone de
ciertas fuentes de
informacin que permiten establecer un orden jerrquico en los
objetivos a evaluar, tales
como: informes relativos a la incidencia y prevalencia de
determinadas enfermedades,
indicadores de los principales problemas de salud; rol que
juegan determinados contenidos
claves en el desempeo de una especialidad dada; etc.
En todo caso es necesario hacer un anlisis donde se comparen los
contenidos del dominio
cognitivo y las preguntas del IE, para comprobar hasta qu punto
ste comprende todos los
elementos esenciales de aqul. En este sentido resulta
conveniente constatar si cada aspecto
del dominio cognitivo aparece representado de manera
proporcional a la importancia que se
le concede.
-
19
b) Validez de criterio.
Cuando se realiza un estudio de validez de criterio, se comparan
los resultados de la
aplicacin del IE con otros criterios externos que se le llama
"variable-criterio".
Se dice que un IE tiene validez de criterio cuando, a partir de
los resultados obtenidos, se
pueden hacer inferencias vlidas sobre una variable que no se
puede medir directamente por
el IE.
Un estudio de validez de criterio implica la ejecucin de las
siguientes tareas:
1. Determinacin de un criterio adecuado y de un procedimiento
para medirlo.
2. Determinacin de una muestra representativa de los educandos a
los que se le
aplicar el IE.
3. Aplicar el IE y anotar la calificacin de cada examinado.
4. Obtener una medida del criterio para cada examinado en el
momento en que eso sea
posible.
5. Determinar la fortaleza de la relacin entre los resultados
del IE y los del criterio.
Los estudios de validez de criterio se clasifican en dos
tipos:
- Validez predictiva
- Validez concurrente
La validez predictiva indica la efectividad del IE en un
resultado futuro. Para esto se
comparan las calificaciones del IE con una medida directa de la
ejecucin posterior de los
sujetos llamado "criterio".
A manera de ejemplo consideremos la siguiente situacin: se
quiere evaluar la validez
predictiva de los exmenes de ingreso a la Educacin Mdica
Superior. Si el criterio a tener
-
20
en cuenta es el ndice acadmico promedio al finalizar la carrera,
entonces la validez
predictiva de dichos exmenes es alta en la medida en que las
calificaciones altas se
correspondan con los ndices acadmicos altos; y viceversa. En
este caso el coeficiente de
validez predictiva es un coeficiente de correlacin lineal.
La validez concurrente se refiere a la interrelacin del IE y un
criterio de medicin
efectuado en el momento en que se aplica el IE.
En algunos casos la validez concurrente es meramente un
sustituto de la validez predictiva.
No suele ser practicable extender los procedimientos de
validacin ms all del tiempo
requerido para la validez predictiva u obtener una determinada
muestra de preseleccin con
fines de aplicacin del IE. Por tanto, como solucin de compromiso
se aplica a un grupo
sobre el que ya se tienen disponibles los datos del
criterio.
La distancia lgica entre la validez predictiva y la concurrente
no slo se basa en el tiempo
sino tambin los objetivos de aplicacin del IE. La validez
concurrente es idnea para los
instrumentos empleados en el diagnstico de un estado existente y
no para la prediccin de
resultados futuros.
Puesto que siempre se dispone del criterio de validez
concurrente en el momento de aplicar
el IE, cabra preguntar cul es la funcin que ste cumple en tales
situaciones. Dichos
instrumentos proporcionan bsicamente un sustituto ms sencillo,
ms rpido o menos caro
de los datos del criterio. Si, por ejemplo, el criterio consiste
en la observacin continua de
un paciente durante un perodo de hospitalizacin de dos semanas,
un instrumento que
separe los casos normales de los patolgicos y de los dudosos
reducira apreciablemente el
nmero de personas que requieren tan extensa observacin.
-
21
c) Validez de construccin
Los estudios de validez de construccin de un IE se realizan
cuando no se dispone de una
medida directa del atributo a medir, de tal manera que hay que
sustituirlo por un modelo
hipottico.
Son ejemplos de tales atributos y la inteligencia, la
creatividad, la competencia clnica, etc.
Los estudios de validez de construccin, puesto que fijan la
atencin en una cualidad que
requiere un alto grado de elaboracin terica, requiere la
acumulacin gradual de
informacin procedente de diferentes fuentes.
Cualquier informacin que arroje luz sobre la naturaleza del
atributo que se est estudiando
y de las condiciones que afectan a su desarrollo y
manifestaciones, tiene utilidad para este
tipo de validez.
Los procedimientos estadsticos que normalmente se usan en los
estudios de validez de
construccin se caracterizan por tener cierto nivel matemtico de
complejidad y, por tanto,
no los desarrollaremos. Nos limitaremos, pues, a hacer slo
mencin de los procedimientos
que usualmente se aplican en las investigaciones, ellos son los
siguientes:
- Diferenciacin entre grupos
- Validez discriminante
- Mtodo matricial de rasgos mltiples
- Anlisis factorial.
Ejemplo.
Se ha elaborado un IE para medir la competencia clnica en
materia de hipertensin arterial
y el mismo contiene preguntas relativas a: factores de riesgo,
antecedentes patolgicos
-
22
personales, tratamiento, seguimiento, rehabilitacin, secuelas y
epidemiologa de esta
enfermedad.
Para estudiar la validez de construccin de este instrumento se
decide aplicar el mtodo de
diferenciacin entre grupos. Para este fin se seleccionan dos
grupos de personas que en
principio difieran notablemente en cuanto al nivel de
competencia clnica, estos son: un
grupo de estudiantes del Quinto Ao de la carrera de Medicina y
un grupo de residentes del
Tercer Ao de la especialidad de MGI. Se supone que este IE tiene
validez de construccin
en la medida en que exista una marcada diferencia entre las
calificaciones de cada grupo.
REFERENCIAS BIBLIOGRAFICAS.
1. Guilbert J J. Gua Pedaggica. Ginebra Organizacin Mundial de
la Salud. Reimpreso
por la Organizacin Panamericana de la Salud. 1977.
2. Cronbach L J. Fundamentos de la Exploracin Psicolgica. Edicin
Revolucionaria.
Instituto Cubano del Libro. La Habana. 1968.
3. Armor D J. Theta reliability and factor scaling. In Costner
HC. (ed), Sociological
Methodology 1973-1974, pp 17-50. Jossey -Bass, San
Francisco.
-
23
4. Heise D R, Borhrnstedt G W. Validity, invalidity and
realiabililty. In Borgatta F and
Borhnstedt G W (eds). Sociological Methodology 1970 pp 104-29.
Jossey-Bass, San
Francisco.
5. Bentler P M. Alpha-maximized factor analysis (alphamax)
Psychometrika 1968; 33: 335-
45.
6. Crocker L, Algina J. Introduction to Classic and Modern Test
Theory. University of
Florida. USA. 1968.
7. Cronbach L J. Coefficient alpha and the internal structure of
a test. Psychometrika 1951
16: 297-334.
8. Anastasi, A. Test Psicolgicos. Edicin Revolucionaria.
Instituto del Libro. La
Habana. 1970.
9. Weiner E a, Stewart B J. Assessing individuals. Litte Brown,
Boston. 1984.
10. Handfield-Jones R, Belle J, Biehn, Rainsberry P, Brailovsky
CA. Certification
Examination of the College of Family Physician of Canada. Part
3. Short-answer
management problems. Can Fam Physician 1996;42(7):1353-1361.
11. Belle J, Handfield-Jones R, Rainslerry P, Brailovsky CA.
Certifiation Examination of
the College of Family Physician of Canada. Part 4. Simulated
Office Orals. Can Fam
Physician 1996: 42(8): 1539 - 1548.
12. Lescop J, Grans Maison P, Brailovsky CA. Large Scale
multicenter OSCE used for
provincial licensure. In: Harden RM, Hart IR, Malholand H (eds).
Approaches to the
Assessment of Clinical Competence. Norwich: Page Brothers, 1992:
54-57
13. Gran Maison P, Lescop J, Rainsberry P, Brailovsky CA. Large
scale use of an objetive,
-
24
structured clinical examination for licensing family physicians.
Can Med Assoc J 1992;
146(10): 1735-1740.
14. Brailovsky CA, Grand Maison P, Lescop J. A Large-scale
Multicenter Objetive
Structured Clinical Examination for Licensure. Academic Medicine
Rim Supplement.
67(10). October Supplement. 1992; 67(10:537-539.
15. Van der Vleuten CPM, Swanson DB. Assessment of clinical
Skills with standarized
patients: state of the art. Teach Learn Med 1990; 2: 58-76.
16. Pretusa ER, Blackwell TA, Ainswoth MA. Reability and
validity of an objetive
Structured Clinical Examinaton for Assessing the Clinical
Perfomance of Residents. Arch
Intern Med. 1990; 150:573-577.
17. Salas Perea RS. Educacin en Salud, Competencia y Desempeo
Profesionales. La
Habana: Editorial Ciencias Mdicas (en imprenta).
18. DI. Assessing clinical competence at the undergraduate
level. Dundee: Association for
the Study of Medical Education, 1992. Booklet No. 25.
19. Handfiel-Jones R; Holleing Worth G. CfPC's Certification
Examination. An Overview.
Can Fam Physician 1990; 36: 2069-74.
20. Kane MT. The assessment of Professional Competence.
Evaluation & the Health
Professions 1992; 15(2): 163-182.