COMIT ORGANIZADORSEMINARIO REGIONAL DE EVALUACIN DE LA EDUCACIN
- ZONA NORTEINSTITUTO COLOMBIANO PARA EL FOMENTO DE LA EDUCACIN
SUPERIOR ICFESGENISBERTO LPEZ CONDE - Director General (e)ARACELI
MORA - Asesora Direccin GeneralUNIVERSIDAD AUTNOMA DEL CARIBESILVIA
BEATRIZ GETTE PONCE - RectoraTAMID TURBAY ECHEVERRA - Vice
RectorESTELA VANEGAS DE BRIEZ - Directora AcadmicaSANDRA OSORIO
BASTOS - Dir. Prog. Administracin de Empresas Tursticas y
HotelerasBELINDA GARCA JIMNEZ - Dir. Prog. de Comunicacin
Social-PeriodismoSILVIA GUTIRREZ PAREJO - Dir. Prog. de Direccin y
Produccin de Radio y TelevisinJOHN PEZ SANTAMARA - Dir. del Centro
de Desarrollo de SistemasMARYORIE AMAYA VILLALOBOS - Dir. del
Centro de Produccin de Radio y
TelevisinRECONOCIMIENTOSElComitOrganizadordelSeminarioRegionaldeEvaluacindela
Educacin Zona Norte expresa sus ms sinceros agradecimientos al
grupo
deprofesionalesdelInstitutoColombianoparaelFomentodelaEducacin
Superior-ICFES,porsudesinteresadayconstructivaparticipacinenla
realizacin de los talleres que se dieron en el marco de este
encuentro.Igualmente, reconoce el aporte y apoyo prestado por la
Universidad Autnoma
delCaribe,sinelcualnohubierasidoposiblelograrlospropsitosdel
seminario.DISEO MATERIAL TALLERSara Esperanza Bohrquez
RodrguezMartha Castillo BallnErnesto Cuchimaque DazaHctor Orlando
Daz RamrezMoravia Elizabeth Gonzlez PelezMyriam Gonzlez
BuitragoCristina Hennig M.Zandra A. Parra NioFlor Patricia Pedraza
DazaMartha Rocha G.Mnica Roldn TorresClaudia Luca Senz Blanco7ZONA
NORTE: Taller Elaboracin de temsEJERCICIO DE ENTRADA
INSTRUCCIN1.Teniendo en cuenta la informacin que le brinda el
siguiente textoyhaciendousodelaplantilla,construyauntemque pueda
servir para evaluar un saber hacer en la disciplina o campo de su
especialidad.2.Haga la caracterizacin del tem atendiendo a la
informacin que exige la plantilla.1. EJERCICIO DE ENTRADAELABOREMOS
UN TEMLea atentamente el siguiente
texto:Gobiernoexpidenuevodecretoque busca mejorar la calidad del
aireLanormabuscareducirlaspartculasgrandes de humo, tierra, polvo y
txicos que expulsan las fbricas a la atmsfera. Estos agentes
llamados materialparticuladoPM10,sonlosmayores contaminantes del
aire. Actualmente, en el pas seregistranndicesdecontaminacinanuales
de70microgramos/metrocbico(mg/m3),
mientrasqueellmiteinternacionalesde50.
Lanuevanormadecalidaddeaire,expedida
ayerporelMinisteriodeAmbiente,Vivienday Desarrollo Territorial,
busca reducir a 60 mg/m3 lacontaminacinparael2009ya50parael 2011.
Hasta el momento, Colombia no contaba con una reglamentacin clara
al respecto, pese aqueloscostosrelacionadosconefectos
enlasaludpblicaasciendena1,5billones
depesos(principalmenteporenfermedades respiratorias), es decir el
0,80 por ciento del PIB, segnunestudiodeleconomistaambiental Bjorn
Larsen (del 2004). Antelapolmicaquedesatentre ambientalistas y
mdicos el jar metas a largo plazo,laministradeestacartera,Sandra
Surez,explicqueesnecesariohaceresta
disminucindemaneragradual,porfaltade recursos econmicos para
lograrlo. Colombia esunpassubdesarrolladoquenopuede
cumplirconelestndar.Senecesitaran
inversionesmuyaltasyelpasnolastiene.
ParaelneumlogoJairoRoa,laspersonas
seguirnenfermndoseporlosaltosniveles de contaminacin, y la
industria, amparada en la norma y en los supuestos elevados costos
paralaconversinindustrial,notomar medidas antes del 2011.Entonces,
el dao ser incalculable; tendremos
unairesinningntipodecalidad,puesel
estndarinternacional(50)deporsesmalo, resalt Roa.El decreto
establece procedimientos de medicin
delacalidaddelaire,atravsdenuevas estaciones de monitoreo, a cargo
del Ideam. Y encarg a las autoridades ambientales de cada
jurisdiccin elaborar programas de reduccin de contaminacin,
enfocados en la modernizacin delparqueautomotor,laampliacindereas
verdes y la prevencin en salud, entre otras.Para quienes infrinjan
lo estipulado habr multas hastapor300salariosmnimosmensuales;
suspensindelregistro,licencia,permisoo autorizacin de
funcionamiento, y cierre temporal o denitivo.8PLANTILLA PARA
ELABORACIN DE TEMSCONTEXTO/ ENUNCIADOOPCIONES DE
RESPUESTACLAVE:JUSTIFICACIN DE LAS OPCIONES9ZONA NORTE: Taller
Elaboracin de temsCategora disciplinarOBJETO DE EVALUACINCategora
cognitivaTarea de evaluacinOBSERVACIONES O
RECOMENDACIONESEDICIN:APLICACIN:CALIFICACIN:OTRAS:AUTORFECHA DE
CDIGO O IDENTIFICADORELABORACINPOBLACIN OBJETIVOEXPECTATIVA
DEJUICIO DE EXPERTOS/DIFICULTADAPLICACIN PILOTOEdad: Nivel
educativo:Gnero: Observaciones:Probabilidad de respuesta correcta
(entre 0 y 1)Pertinenciafrenteaestructura de
prueba/correlacinALTAMEDIABAJAObservaciones:10REGLAS
GENERALESVericarqueeltemcorrespondaconlos propsitos de la
evaluacin, la estructura de la prueba y con las dimensiones
disciplinares Todaslaspreguntasdeunapruebadeben ser independientes
entre s.La informacin de un tem no debe servir de
pautaparacontestarotra,nilarespuestaa un tem debe depender de haber
encontrado primero la de otra
anterior.Evitarlostemsquepuedencontestarsepor
sentidocomnyaquelloscuyarespuesta dependa nicamente de recordar un
trmino, un smbolo, un dato o la fecha en que ocurri un
evento.Evitarexpresionesrebuscadasquepuedan confundir. Se
recomienda emplear un lenguaje directo, sencillo
ycomprensible.Lostemsnodebentenerjuiciosdevalor explcitos o
implcitos.REGLAS SOBRE LOS
ENUNCIADOSLosenunciadosdebenserarmativos,en
casodesernecesarialanegacin,sedebe
resaltarparallamarlaatencinhaciala
formulacinnegativa.Ladoblenegacin afecta la comprensin (No es
cierto que no procedan los
recursos).Evitarenunciadosdemasiadoextensos
ypocoatractivosyaquedesmotivanla Reglas para la construccin de
temslectura,disminuyeneltiempoderespuesta y fatigan.Garantizar la
coherencia interna del enunciado y de este con las opciones de
respuesta.REGLAS SOBRE LAS OPCIONESLas opciones de respuesta deben
pertenecer al mismo campo semntico.Lasopcionesdeuntemnodebendar
indicacionessobrelaclaveporofrecerun cierto contraste evidente de:-
longitud precisin / imprecisin- uso comn / tcnico-
generalizacin/particularizacinNosedebenrepetirexpresionesenlas
opcionesderespuesta,sistassepueden
incluirenelenunciadodeltem.Repetirla
mismapalabradelenunciadoencualquiera de las opciones lleva a que
sea elegida como respuesta, sin serlo necesariamente.Debe evitarse
en las opciones las expresiones todasoningunadelasanteriores,ensu
lugaresnecesarioconstruiralternativasde
respuestaplausiblesparalaspersonasque no tengan el dominio
conceptual que exige el tem.Realizar una revisin gramatical y
ortogrca de cada uno de los tems. 11ZONA NORTE: Taller Elaboracin
de temsTEMS PARA ANLISIS1213ZONA NORTE: Taller Elaboracin de
tems1415ZONA NORTE: Taller Elaboracin de temsICFESMARTHA JEANETH
CASTILLO BALLN*La pregunta por el conocimiento ysu accin pragmtica*
Profesional Especializado en el rea de lenguaje del
ICFESSireexionamossobreloquehacemos
cuandoqueremossabersiotrapersonatiene conocimientos en un dominio
dado, descubrimos quebuscamosuncomportamientooaccin
adecuadosdeesapersonaenesedominio,
alplantearunapreguntaimplcitaoexplcita
dentrodeundominio.Siconsideramosqueel comportamiento o la accin (o
la descripcin del posible comportamiento o accin) dados como
respuesta a nuestra pregunta resulta adecuada
oefectivaeneldominioqueespecicamos,
armamosquelapersonasabe.Si,porel contrario, consideramos que tal
comportamiento o accin no resultan adecuado o efectivo en el
dominioestipuladoporlapregunta,armamos
quelapersonanotieneconocimientodeese dominio. El conocimiento es
entonces el comportamiento aceptado?Oesalgoquelesubyaceal
comportamiento del observado que remite a un referente conceptual y
procedimental aceptado desdeundominioenuncampo?Enlosdos
casosdedndesesacanloscriteriospara
determinarsiuncomportamientooaccin
esadecuadooinadecuado?Paramuchos,
enelcontextodelainvestigacincientca,el
conocimientoeselcomportamientoaceptado como adecuado por parte de
un observador, u observadora,queparticipadeunacomunidad
enelcampoodominiodeterminado,luegoel criterio o los criterios son
consensuados en una comunidadquecomparteciertasexperiencias
frenteaciertosfenmenosypostulados,tanto
as,queladiferenciadealgnexponente
enelcampoodominiotraelarevisindelos postulados existentes y
probablemente la nueva experienciageneranuevosconsensossobre nuevos
criterios. Contrarioaloquesepercibeenelcampode la investigacin
cientca, en el contexto escolar elreferenteenunapreguntasevemediado
porlaaccinpedaggicadeundocenteque construye los criterios, ya no
desde la experiencia consensuadasino,desdesuexperiencia
individualenlaenseanzadeunrea,bajola concepcin de una estructura
que crea a travs de la experiencia de indagar o preguntarse sobre
el cmo ensear, por ejemplo la matemtica o la biologa. En este caso,
el conocimiento se trata de un comportamiento aceptado o adecuado
en lamedidaenquelaaccinocomportamiento del observado coincida con
la estructura creada desdelaexperienciaindividualdeldocente. Lo
anterior hace que la pregunta en la escuela
limitelaactuacinfrenteaundominioalos
criteriosdisciplinares.Algoqueesvlidoen
lamedidaenqueseacomprendidocomo
unodelosmltiplescaminosporloscualesel observador puede determinar
la validez o no del comportamientodeunobservadofrenteauna
problemticaqueremiteauncampo,esdecir
aundominiomsamplioqueeldisciplinar. Las ciencias no se desenvuelven
en un terreno virgen, no brotan misteriosamente de una fuente de
primigenia epistemolgica de carcter puro.
Lascienciasprocedendefuentesquenoson
ellasmismassinoenlamedidaenquehacen parte de las
otras.16Elpreguntardesdelasreasparavalorarel comportamiento
adecuado de un sujeto frente a un dominio ignora la dialctica de
las ciencias. Estadialcticaincluyetantocontradicciones internas a
la ciencia (de unas ciencias con otras ciencias, as como de una
ciencia consigo misma) comocontradiccionesexternas,dadasenlas
intersecciones con los contextos extracientcos. La pregunta por el
conocimiento debe dar lugar a explicitar las convergencias y
contradicciones entre las ciencias y en una misma ciencia frente
aun fenmeno o problema.Msqueevaluarunateoraodisciplina
estableciendopatronesnormativosgenerales, lo que se persigue, por
una parte, es captar la importancia losca de la misma. Esto signica
exigir de la teora en cuestin un punto de vista que nos permita una
mejor comprensin de un sector de la realidad que debiera ser
coherente con una concepcin de la totalidad de la misma. Ello
implica el establecimiento de una relacin de cooperacin entre las
disciplinas que componen el campo de las
ciencias.Lanocindecampohasidoplanteadapor
Bourdieuparadarcuentadelconjuntode relaciones objetivas en las que
histricamente se encuentran ubicados los agentes y con la cual
intentasobrepasarlasarbitrariasoposiciones entre estructura e
historia, entre conservacin y
transformacin.Enprimerlugar,loscampossepresentan
comoespaciosestructuradosdeposiciones
(odepuestos),cuyaspropiedadesdependen
desuposicinenesosespaciosypueden
seranalizadasindependientementedelas caractersticas de sus
ocupantes.Ensegundolugarseencuentralacuestinde
loslmitesdelcampo.Lasfronterasentrelos
camposnopuedendeterminarseporfuerade los campos: slo los efectos
del campo y no lascualidadesintrnsecasdelosparticipante puede denir
el espacio de un campo. En este sentidolosefectosdelcamposlopueden
ser determinados por la investigacin
emprica.Entercerlugar,loscampossemantieneno
setransformanporlosenfrentamientosentre
lasfuerzasqueconstituyenelcampotodo
campoesunlugardeluchaconelobjetode alcanzar la autoridad. La
estructura del campo diceBourdieuesunestadoderelaciones
defuerzaentrelosagentesolasinstituciones
comprometidasenlaluchao,sisepreere,
deladistribucindecapitalespeccoque, acumulado en el curso de las
luchas anteriores, orienta las estrategias
ulteriores.Portalmotivo,larelacindifanadelas ciencias en el campo
de la ciencia es compleja y obedece a d l complica cuando al
interior de las disciplinas aparecen subcampos o dominios
correspondientesalasllamadasreasde
inters.Lacienciaespecialsediversicapor
elhechodeabarcaralmenosunapartede
distintosdominiosdisciplinariosquecooperan en dar una respuesta a
determinadas preguntas. Esteeselcasodelacienciacognitivayde
cualquieraotraaproximacincientcaque requiera sobrepasar los lmites
entre disciplinas paraalcanzarexplicacionesmsiluminadoras
dedeterminadosfenmenos.Estetipode
aproximacinsevisualizahoydacomouna
necesidadalinteriordeciertasdisciplinasque se han percatado de las
mltiples dimensiones delosfenmenosqueestudianyque,en
consecuencia,requierenquesushiptesis
reejenlacomplejidaddelosfenmenosde
queseocupan.Sinembargo,hoypareceque por lo menos en el campo de la
evaluacin, los mismospromotoresycultoresdeestetipode aproximacin a
la pregunta por el conocimiento
notienenamenudolasucienteclaridadpara dar cuenta de los fundamentos
y caractersticas deloqueefectivamentedebemoshacerpara
interrogarporunproblemaqueconvoque
alasreasenprocuradeunaexplicacino solucin.Una leccin general que se
deriva de lo anterior esquesielrazonamientointerdisciplinariose
basaenlainterdependenciaentrefenmenos, entonces se requiere, adems
de la existencia del vnculo de interdependencia, que el constructor
de la evaluacin y por ende el que se va a deba estar bien informado
acerca del tratamiento que se hace de los fenmenos y del progreso
que se 17ZONA NORTE: Taller Elaboracin de temshace en las
disciplinas que han servido de base a su construccin, en otras
palabras asegurarse que al accin pedaggica de las disciplinas est
encaminada a la cooperacin.Actualmente,paralamayoradenuestroslos
estudiantes,lapreguntaporelconocimiento, tanto en la educacin bsica
como en la superior, estmarcadoporlapresenciadelconcepto
dereacomocienciaensiyparas,puesa s estn formuladas las polticas
educativas, los programas de
estudio.Laintencindellegaralconocimientodela
esenciaorasgosuniversalesdelascosas,
yaestabadesdeelmtodosocrticodela enseanza, el cual estaba basado en
el dilogo entre maestro y discpulo, sealaba la necesidad de romper
con la particularidad como unidad del conocimiento e ingresar al
origen por la pregunta delconocimiento,unorigencuyafuenteesde
carcterinterdisciplinar.Recordemosqueel
mtodoconsistaesencialmenteenemplear
eldilogoparallegaralconocimiento.Aunque
Scratesnuncasistematizlamayutica,se
podraarmarqueeldilogoeralaestrategia
paraasegurarqueapartirdeunapregunta inicial se suscitara en el
discpulo la ambigedad ylacontradiccin,quenalmentelollevaran hacia
una posible respuesta. Este momento de confusin e incomodidad por
no ver claro algo que antes del dilogo se crea saber perfectamente
escondicinnecesariaparaelaprendizaje,
parapreguntarseporelconocimiento.La
intencindelmtodomayuticoesacercarse
progresivamenteadenicionescadavezms
generalesyprecisasdelacuestinquese
investiga;ladiscusinconcluiracuandoel alumno, gracias al tipo de
interrogante que hace elmaestro,consiguealcanzarelconocimiento
preciso, universal y estricto de la realidad que
seinvestiga(aunqueenmuchosdilogosde
Platnnosealcanzaesteidealyladiscusin queda abierta e
inconclusa).Laideabsicadelmtodosocrticoconsiste
enqueelmaestronoinculcaalalumnoel conocimiento, es decir no hace
preguntas para obtenerrespuestasnicasyverdaderas,pues
rechazaquesumenteseaunreceptculoo
cajnvacoenelquesepuedanintroducirlas distintas verdades; para
Scrates es el discpulo quienextraedesmismo,desusexperiencias
yconjeturaselconocimiento.Subrayarque,
enlaaccinquebuscacontradecirtoda
opinin,yallograrlo,elotrosevebeneciado
porladudaylaexplicacindesdediferentes
experiencias,aparecenlasideasprimariasde
lainterdisciplinariedad.Enefecto,eelmtodo se alude esencialmente a
tomar como punto de partida los problemas y no las perspectivas de
disciplinasparticulares,hechoquesustentael hacer en el conocimiento
y el cuestionamiento por el conocimiento. Se trata de renovar el
dilogo roto por una cierta modernidad entre el orden de los hechos
y el orden de los valores, facilitando
eldilogodeloscientcos,loslsofos,los
telogosylosactoresdelmundoeconmico, a n de comprender mejor la
articulacin entre las implicaciones de la investigacin cientca y la
bsqueda de sentido. En trminos generales
loquesebuscaesunconocimientosobre
elconocimientoquepermitaencuadrarlos
diferentesconocimientosenunmarcogeneral
quelesdasentidoylesponeenrelacincon
losvalorescentralesdelavidahumana.No tendramos que preguntar desde
las reas sino desde los problemas para encontrar soluciones desde
diferentes reas o campos.Sinduda,estoduele,puesalgunosvivimos
anenelnaturalismometodolgicodelas
disciplinas,sinembargoesposiblequelos jvenes cibernticos, los que
manejan el lenguaje delhipertextoyelhipervnculolocomprendan mejor
que nosotros. Hoyendacoexistendiversosperles relacionados con la
gestin del conocimiento, porejemploelperldeldocumentalista,
traductor,terminlogo,lexicgrafoolingista.
Todoscompartenenmayoromenormedida
eltratamientoyladifusindellenguaje
comoactividadcomn.Unperlquerecoge
18perlesconunaindicacindelaspectodel
conocimientoenquecadaperlsecentra (produccin, transmisin,
tratamiento o gestin en general).
Algunasactividadesquehoyendarequieren,
porejemplo,lacolaboracindelingistasy documentalistas en un enfoque
interdisciplinar, o que al menos se pueden ver favorecidas por sta,
son:Laelaboracindeherramientasdeapoyo
alatraduccin;laelaboracindedocumentos secundarios, como ndices y
abstracts; la creacin deherramientaslexicogrcasyterminolgicas, como
tesauros multilinges, diccionarios, glosarios, vocabularios
normalizados y terminologas. Estas son algunas posibilidades, sin
mencionar el trabajo relacionado con la creacin de ontologas,
dentro de la Ingeniera del Conocimiento, donde
Lingstica,IngenierayLgicaconuyen
produciendounasherramientasvaliossimas para los investigadores.Qu
hacer con la pregunta por el conocimiento
enlaescuela?Loqueestclaroesqueel futurodelaCienciapasamsquenunca
porlainterdisciplinariedadyquehoyresulta
esenciallaconstruccindeunlenguaje
comnparaindagardesdediferentesreas porproblemasquetocanalhombreensu
estar en el mundo. REFERENCIAS AGUADO, GUADALUPE y PILAR DURN.
2001. La investigacin en lenguas aplicadas: un enfoque
multidisciplinar. Madrid: Fundacin Gmez Pardo- UPM. CELIS, ANGELA.
2002a. Del texto al hipertexto, o la nueva e-misin en el proceso
comunicativo.
ComunicacinalCongresoComputers,Literature&Humanities(CLiP2002).Elretodela
internacionalizacin de la comunicacin. Albacete, Diciembre 2002.
SILVESTRIADRIANAYBLANCKGUILLERMO.BantnyVigotski:laorganizacinsemiticadela
conciencia. Antropos 1993. GMEZ HERNNDEZ, JOSE ANTONIO y JUDITH
LICEA DE ARENAS 2002. La alfabetizacin en informacin en las
universidades. Revista de Investigacin Educativa, 20 (2), 469-486.
MATURANA. R HUMBERTO .1996. La realidad:objetiva o construida?. II.
Fundamentos biolgicos del conocimiento. Anthropos, Mxico 1996.
SALAGER-MEYER,FRANOISE.2002.Crticadeldiscursoacadmico:diacronaycultura.
Conferenciaplenaria.ICongresoInternacionaldeAELFE.LenguasconFinesEspeccos:La
sociedad del conocimiento en el marco internacional. Madrid,
Septiembre, 2002.19ZONA NORTE: Taller Elaboracin de temsMartha C.
Rocha GaonaCarlos A. Pardo
AdamesAGRADECIMIENTOSAtodaslaspersonasquetuvieronladeferenciadeleerestedocumentoconsentidocrticoyformularon
inquietudes y observaciones que nos orientaron para trabajar en su
cualicacin: Sara Esperanza Bohrquez, Libardo Barrera, Myriam
Gonzlez, Patricia Pedraza, Ana Atorresi y Martha
Castillo.INTRODUCCINElformatodeseleccinmltipleconnica
respuestaesunodelosmsutilizadospara
formulartemsenlasevaluacioneseducativas
decarctermasivo,especialmenteporla
facilidaddesuaplicacinycalicacin.Sin embargo, sera errneo creer que
la facilidad es tambinunacaractersticadesuelaboracin;
porelcontrario,sonmuchaslascondiciones
quedebensercumplidasparaqueuntemse
consideredebuenacalidad.Elaborarbuenos
temsdeseleccinmltipleesunalaborque
exigemuchocompromisoyprctica,y,por
sobretodo,deunprofundoconocimientodel
objetodeevaluacinydelapoblacinqueva
aserevaluada,todoestoarticuladoconuna rigurosa aplicacin de las
tcnicas que grupos deexpertosendistintaspartesdelmundohan
perfeccionando a travs de la
prctica.Estedocumentodescribelastcnicasde
elaboracindetemsdeseleccinmltiplecon
nicarespuesta,lascuales,engranparte,son
aplicablesaotrosformatosdetems.Elprimer apartado destaca que la
elaboracin de tems es una de las etapas del diseo de pruebas y,
como tal, debe estar articulada con las dems etapas del proceso
para asegurar la calidad y pertinencia de la evaluacin; se resalta
el requerimiento de que los elaboradores de tems dominen los
planteamientos delmarcoconceptualdelinstrumento,ascomo
lasespecicacionestcnicasdelmismo,para
quecadatemaportesumximopotencialal
propsitodeevaluacinplanteado.Elsegundo
apartadorecogelasreglasdeelaboracinde tems que gracias al trabajo
de grupos de expertos deinstitucionesespecializadasendiseode
instrumentos de evaluacin de distintos pases, as como de
comunidades acadmicas estudiosas del tema, se han decantado a lo
largo de los ltimos 30aos.Eneltercerapartadoseproponeun ejercicio
prctico de anlisis de algunos ejemplos
detemsconfallasdeelaboracin,andeque el lector ponga en prctica la
apropiacin de las tcnicas descritas en el apartado 2.* Integrante
del Grupo de Evaluacin de la Educacin Superior del ICFES -
ColombiaDISEO DE PRUEBAS EVALUACIN EDUCATIVAREGLAS PARA ELABORAR
TEMS DE SELECCIN MLTIPLE CON NICA RESPUESTA20I. FASES DEL DISEO DE
PRUEBASElprocesodediseodepruebasintegra
diferentesetapas:desdelaelaboracindeun
marcoqueintegrelosconceptossobrelos
cualessefundamentarelinstrumentohasta
elmomentoenelcualseconsideraqueha
alcanzadolacalidadsucientecomopara
seraplicado.Enrealidadpuededecirseque
eldiseoseoriginaconelsurgimientodela
necesidaddecontarconuninstrumentode
evaluacinparaunospropsitosparticulares1 y, ms all de la fase de
aplicacin, trasciende a las etapas de anlisis de tems, calicacin y
divulgacin de resultados, pues de ellas puede derivarse informacin
importante para cualicar un nuevo ciclo del proceso. La siguiente
grca presenta de manera global las fases del diseo de pruebas.1
Pardo, C. (1998). El diseo de pruebas para los Exmenes de Estado:
un proceso de investigacin permanente. Bogot: ICFES.1.
FUNDAMENTACIN CONCEPTUALEs la fase en la cual se aborda
conceptualmente el objeto de evaluacin y, en general, se
desarrollan, desdeunaperspectivaterica,loselementos contextuales,
legales, disciplinares, metodolgicos, etc., que darn sustento y
signicado al proceso deevaluacin.Entreloselementosquehacen parte de
la elaboracin conceptual estn:El propsito de la evaluacin (para qu
la evaluacin?)El objeto de evaluacin (qu se evala?)Las
caractersticas de la poblacin objetivo (a quin se
evala?)Losusuariosdelaevaluacin(aquinle ser til la evaluacin y de
qu manera?)Enestaetapa,comoenlamayoradelas
subsiguientes,eltrabajointerdisciplinarioyel
concursodeexpertossehaceimprescindible
paralograrproductosdeexcelentecalidad.
Tratndosedeldiseodeinstrumentosde 21ZONA NORTE: Taller Elaboracin
de temsevaluacineducativaesusualcontarcon
expertosenaspectosrelacionadosconel
objetodeevaluacin(tantoenlorelacionado
concognicinhumanacomoenlodisciplinar)
yconexpertosendiseodeinstrumentosde
evaluacinquienestienenlasresponsabilidad
deinvestigar,reexionar,discutiryestablecer
acuerdosparadarrespuestaalaspreguntas
enunciadasarribayaotrasmsquesea
necesarioabordar,yconstituiraslasbases
conceptualesyloslineamientostcnicosque
orientarneltrabajodelasdemsfasesdel proceso.2. ESPECIFICACIONES DE
PRUEBAPuedeentendersecomounadescripcin detallada de las
caractersticas del instrumento, la cual incluye, por una parte, una
desagregacin delobjetodeevaluacinendimensioneso
categorassusceptiblesdeserevaluadas,
conformeasuconceptualizacinprevia,y,por otra, la delimitacin de
especicidades tcnicas del instrumento, tales como longitud y
formatos detemsquevanaserusados.Estosdos elementos se conocen,
respectivamente, como ESTRUCTURA DE PRUEBA y ESPECIFACIONES
PSICOMTRICAS.Laestructuradepruebaesunamatrizque
representalaintegracindelasdistintas
dimensionesdelobjetodeevaluacinquese
deseamedir.Generalmentelasevaluaciones
educativasintegran,comomnimo,una
dimensindisciplinaryunadimensinreferida a procesos de pensamiento
(cognitiva). Ambas dimensionespuedensercategorizadasde distinta
forma, de acuerdo con el enfoque terico que se haya
elegido.Lagrcasiguientemuestraunesquema
bsicodeunaestructuradepruebaenlacual
seevalaladimensincognitivadesdeun
enfoquedecompetencias2.Enrelacinconla dimensin disciplinar, el
objeto corresponde a la Biologaylas3categoras(clula,organismos y
ecosistemas) pretenden dar cuenta del objeto de estudio de esta
disciplina.2 La conceptualizacin de la dimensin cognitiva
competencias en categoras interpretacin argumentacin y proposicin,
as como las categoras de la biologa, corresponden al modelo
utilizado por el ICFES en las evaluaciones nacionales de
estudiantesquevanaingresaralaeducacinsuperior.Enelanexo1sedescribelaformaenqueenelICFESsehan
conceptualizado estas categoras22Laestructuradepruebadebecontener,
adems de la explicitacin de las dimensiones
ysuscategoras,ladescripcindelastareas
deevaluacinapartirdelascualesser
posiblematerializar,entems,elpropsitode
evaluacin;lastareasdeevaluacinsonla
operacionalizacindelobjetodeevaluacin.
Unatareadeevaluacinesladescripcin
precisadeloquesevaaevaluarunacelda
delaestructura,entendiendoquecadacelda corresponde a la interseccin
entre categoras de las distintas dimensiones de dicha estructura.
Las tareas de evaluacin deben ser claramente denidas para orientar
la fase de elaboracin de tems y debe vericarse que sean
susceptibles deexploracinapartirdelosformatosde
temsqueseplaneautilizar.Adems,es
necesarioclaricarlosnivelesdedicultad que se espera tengan las
tareas, considerando tantoelpropsitodelaevaluacincomo
lascaractersticasdelapoblacinobjetivo.
Idealmenteelinstrumentodebeincluirtareas
dedistintosnivelesdedicultaddetalforma
quesecubraconholguralagamadeniveles de habilidad que es probable
encontrar en los evaluados. Amaneradeejemplo,unadelasceldas
delgrcoanteriormuestraelcruceentre lacategoracluladeladimensin
disciplinarylacategoraargumentacin
deladimensinprocesosdepensamiento;
losevaluadoresdebenhacerexplcitaslas
acciones,susceptiblesdeevaluacinatravs
delinstrumentoqueseestelaborando,que
permitirninferirsielevaluadohadesarrollado
nivelesdeargumentacin(enelsentidoenel
cualsehayadenidoargumentacinenel marco de fundamentacin) esperables
(para el propsitodelaevaluacin)enloquereereal
sabersobrelaclula(enelsentidoenelcual
sehayadenidosabersobreclulaenel
marcodefundamentacinconceptual).Enla celda se describe una de las
mltiples tareas de evaluacin posibles de ser incluidas como parte
del instrumento. Es deseable plantear tareas de evaluacin en forma
un tanto general y que sean los tems los que reejen las
especicidades de cada tarea. Comopartedelasespecicaciones
psicomtricas se debe claricar el nmero de tems que tendr el
instrumento en su totalidad yensusceldas(esposiblequealgunas
celdasnoquieranonopuedanserevaluadas
conelinstrumento);adems,sedeneelo
losformatosdetemsquesernincluidosy
susrespectivasinstruccionesderespuesta;
ladistribucindelostemsenlaprueba(sise organizarn en bloques o
secciones de acuerdo conalgncriteriodecontenido,deforma,de
organizacinlogstica,etc.);eltiempodelcual
dispondrnlosevaluadospararesponderla prueba -y sus partes, si es
pertinente aclararlo- ytodoslosdemslineamientosqueaseguren
unaadecuadaconformacinoensamblajedel
instrumentoyquecontribuyanaclaricarlas
condicionesenlascualesdeberealizarsela aplicacin.3. DESARROLLO DE
PRUEBASEstafasecobijatodaslasaccionesorientadas
aobtenerelartenaldeuninstrumento deevaluacin,listoparasuaplicacin,
quecorrespondaalospropsitosyalas especicaciones,denidosenlasfases
anteriores. Laelaboracindetemsconstituyeunalabor
trascendentaldentrodeestafasey,dadoque
atravsdeellasematerializaelpropsitode
evaluacin,exigelamsaltacalidadtcnica.
Portalrazn,esindispensablequequienes
participenenlaelaboracindetems(no
necesariamentesernlasmismaspersonas
quetrabajaronenlafaseanterior)conozcan con profundidad las
consideraciones del marco de fundamentacin conceptual, las
intenciones evaluativassubyacentesenlaestructurade prueba y las
especicaciones psicomtricas del instrumento que se pretende
desarrollar. Esfundamentalademsdestacarqueel propsito de esta fase
es producir un instrumento de evaluacin y no un agregado de tems.
Esta diferenciaescrucialporquepretendeasegurar
queelequipodesarrolladordelostemsse comprometa alrededor de un
propsito comn 23ZONA NORTE: Taller Elaboracin de temsy adelante un
trabajo articulado, armnico, con el cual se logre que cada tem
verdaderamente aporte a la intencin evaluativa jada.
Lastcnicasparalaelaboracindetems
sonobjetodelcaptuloIIdeestedocumento;
noobstanteespertinentemencionaraqu
queelprocesodeelaboracindetemsexige dinmicas de reexin y discusin
entre pares, as como el apoyo de expertos, con los cuales se busca
garantizar la calidad y pertinencia de
cadatem.Despusdeelaborarlostems,se
ensamblaelinstrumentodeacuerdoconlas
especicacionespsicomtricasysesomete
aunarevisinnal,generalmenteporparte
deexpertosenevaluacinyenelobjetode
evaluacin,quesirvealdoblepropsitode controlar calidad evaluativa y
vericar adecuadas condiciones editoriales del
instrumento.Enestaetapasepreparatambinla
documentacinqueservirparaorientarala
poblacinobjetivosobrelascaractersticas
delinstrumento:temticasqueseabordarn,
formatosdetemsqueseusarnconviene
incluiralgunosejemplosdetems-,nmero detemsquedebernresponderytodala
informacinqueseconsidereprudentedara
conocersobreelprocesoadelantadoparasu elaboracin; tambin se informa
a la poblacin sobre las condiciones de la aplicacin y sobre la
forma y el momento en que se darn a conocer
losresultadosdelaevaluacin.Obviamente esta documentacin debe ser
divulgada entre la poblacin objetivo con suciente anticipacin al
momento de la aplicacin.4. APLICACIN
PILOTOEnestafaseelinstrumentoesaplicadoa
unamuestrarepresentativadelapoblacin
objetivoparaestimarindicadoresestadsticos
quepermitancorroborarlacalidadtcnicadel
instrumentoyelgradodepertinenciadelos tems para la poblacin. Esta
aplicacin tambin permiteaproximarsealaelaboracindeuna escala de
calicacin y reconocer necesidades
deajustedelinstrumentoentrminosdelnivel de dicultad de los tems
elaborados (establecer, por ejemplo, si los tems resultaron
demasiado fciles o demasiado difciles para la poblacin).
Lascondicionesdelaaplicacinpilotodeben
guardarlamayorsimilitudposibleconlas
condicionesquetendrlaaplicacindenitiva
(edicindelinstrumento,instruccionespara responder, tiempo
disponible, etc.). Unaalternativaalaestrategiaderealizar
unaaplicacinpilotoconsisteensometerel
instrumentoaloquesedenominaunjuicio
deexpertos,sobrecuyametodologade
implementacinexisteliteraturadisponible.
Enformabreve,unjuiciodeexpertosesun
procedimientoatravsdelcualunequipode personas, expertas en el
objeto de evaluacin y en procesos de evaluacin, calican los tems de
un instrumento, a la luz de las consideraciones
delmarcodefundamentacinconceptual,en trminos de su coherencia con
los propsitos de la evaluacin y de su pertinencia con la estructura
deprueba,ascomodelasespecicaciones
psicomtricasylascaractersticasdela
poblacinobjetivo;adems,valoransugrado de dicultad, su claridad y
ofrecen sugerencias parasuanamiento.Yaseaatravsdela
aplicacinpilotoodeunjuiciodeexpertos,el
instrumentodebesersometidoaestafasede revisin y ajuste con el
propsito de asegurar su calidad y, por ende, la de los datos
(respuestas) recogidos a travs de su aplicacin; as, fase tras
fasedelproceso,seconsolidanloscimientos sobre los cuales se funda
la validez del mismo. 5. APLICACIN (DEFINITIVA)Es la fase en la
cual la poblacin objetivo responde
alostemsdelinstrumentodeevaluacin
elaborado.Surealizacin,dependiendodel tamao y la ubicacin geogrca
de la poblacin objetivo,puededemandarladisposicinde
considerablecantidadderecursoshumanos,
fsicos,materiales,tecnolgicos,etc.La logstica de aplicacin depende
del modelo de aplicacinquepreviamentesehayadenido.
24Segnelmedioparaevaluar:lpizypapel
oporcomputadora;segnelcalendariode
aplicaciones:porofertaopordemanda; segn la cobertura poblacional:
censal o a una muestrarepresentativadelapoblacin;segn
laorganizacindeaplicadoresycentrosde aplicacin: centralizada o
descentralizada.Cualquieraqueseaesemodelodeaplicacin,
laequidadesunacondicinindispensable
delproceso.Ladivulgacinoportunadelos
materialesguaparalapresentacindela prueba, los cuales fueron
preparados en la fase de desarrollo del instrumento, permitirn que
los evaluados conozcan con anticipacin la situacin
deevaluacin:losrequerimientos,condiciones
ypropsitosdelproceso.Igualmente,durante
lafasedeaplicacin,debeasegurarseque
todoslosevaluadosrecibanlasmismas instrucciones para abordar el
instrumento y que tenganigualdadencuantoalascondiciones
deespacio,tiempo,iluminacin,materialesde trabajo, etc. 6. ANLISIS
DE TEMS Y DE PRUEBAEstafaseenrealidadserealizaendos momentos: a)
luego de la aplicacin piloto y b)
luegodelaaplicacindenitiva.Enelprimer
casoelnesseleccionarlostemsquemejor
respondanalpropsitodelaevaluaciny
conformarconelloselinstrumentodenitivo;
tambinesfundamentalestafaseparatomar decisiones en relacin con
posibles ajustes a los tems para su futura aplicacin.En el segundo
caso, el anlisis de tems permite decidir cules tems incluir y cules
excluir para la generacin de escalas de calicacin.Luego de la
aplicacin (piloto o denitiva) se toma
comoinsumolasrespuestasdelosevaluados
paracalcularindicadoresestadsticosque permiten valorar si el
instrumento como totalidad y cada uno de los tems que lo
constituyen fueron abordadossegnloesperadoporquienes elaboraron el
instrumento. Sedisponedeunagamadeindicadores
estadsticosquepermitenvalorarlacalidadde
lostems;noobstante,esimportanteresaltar
queelanlisisdetemstrasciendelasimple
vericacindelcumplimientodecriterios
estadsticos;supropsitoesfacilitaryorientar la toma de decisiones en
cuanto a la seleccin de tems cuyo funcionamiento brinde conanza
paraprocederobienalprocesodearmada
delapruebadenitivaobienalprocesode
calicacin.Nonecesariamenteuntemque exceda los lmites establecidos
como criterio de aceptacin de un indicador estadstico es un tem que
debe descartarse del proceso; el evaluador
queconoceaprofundidadelinstrumento,sus
especicacionesypropsitosyqueconoce,
adems,alapoblacinobjetivosabrvalorar en qu casos el tem debe ser
descartado y en qu casos debe
mantenerse.Losindicadoresutilizadosparaelanlisis
detemsylaformaenqueellossecalculan
dependedelmodelodeprocesamientode
datosqueseutilice.Enevaluacinsecuenta
fundamentalmentecondosmodelos:laTeora
ClsicadelosTestylaTeoradeRespuestaal tem, sta ltima con mltiples
ventajas sobre la primera. Entre los indicadores ms comnmente
usadosparaevaluartemsestn:elnivelde
dicultad,elgradodeajustealmodelo,la
distribucinderespuestasentrelasopciones
derespuesta,lacorrelacintem-medidayel error de medicin; la
valoracin del instrumento serealizaporlogeneralconbaseendatos
comoelpromedioyladesviacinestndarde puntuacin, el ajuste al modelo,
la conabilidad y el error de medicin.7. ESCALAS DE
CALIFICACINLaasignacindevaloresdemedida,de
acuerdoconciertasreglas,acaractersticas
delmundoreal,sesueledenominarescalade medicin3. La construccin de
escalas es la fase enlaquesedenenlasreglasdeasignacin
deesosvalores,tendientesaasegurarque 3 Fenton, N.E. y Peeger, S.L.
(1997) Software metrics. A rigurous and practical approach. Boston:
PWS Pub.25ZONA NORTE: Taller Elaboracin de
temslasinterpretacionesdelosresultadosdela evaluacin sean
comprensibles y pertinentes. Unaescaladecalicacinpermiteasignar
unapuntuacinparticularacadaevaluado,de
acuerdoconsusrespuestasalostemsdel instrumento. Es importante
reconocer que cada tem tiene asociado un nivel de dicultad
particular quedeberaserconsideradoenelmomento
deasignarlacalicacinacadaevaluado;los modelos modernos de
procesamiento de datos se fundamentan en formulaciones matemticas
queconsideranelniveldedicultadde cadatemparaproducirunacalicacin.Es
deseablequelasescalasgeneradaspermitan la comparabilidad de
resultados entre distintas aplicacionesdelmismoinstrumento,as
comoentrelosmiembrosdelapoblacin objetivo en una misma aplicacin;
para esto es necesario implementar procedimientos tcnicos
especcos(equating/comparabilidad)sobre los cuales existe abundante
literatura disponible pero no son objeto de este documento. 8.
PRODUCCIN Y DIVULGACIN DE
RESULTADOSEsunafasecrucialdelprocesoenlacual
losevaluados-ylosdemsusuariosdela informacin derivada de la
evaluacin- pueden llegar,ono,areconocerastecomoun proceso til,
importante e incluso necesario. Un compromiso importante de todo
evaluador debe serquelosevaluadosydemsusuariosdela evaluacin
realicen interpretaciones adecuadas
delosresultadospresentadosenlosinformes
queprepara;porestarazn,eldiseode informes es una labor que amerita
dedicacin y anlisiscrticoandelograrlamayorclaridad en la
comunicacin de los
resultados.Producirlosresultadosconsisteenaplicar
lasescalasdecalicacin-denidasenla
etapaprevia-alapoblacinevaluada,conel
ndegenerarbasesdedatosquenutranlos
reportesderesultados.Estosreportespueden
serindividualesy/oagrupadossegncriterios
deinters(porejemplo:institucin,municipio, regin, etc.). Un reporte
o informe de evaluacin debe ser veraz, claro y orientador; esto es,
debe entregarinformacinqueseaconsistentecon el propsito de la
evaluacin y esta informacin debeposibilitaralevaluadoreconocersu
desempeoenelprocesoyorientarlepara
planearaccionesdecualicacinnecesariasy pertinentes.
Unavezproducidoslosreportes,seprocede
aimplementarlasestrategiasdedivulgacin,
lascualesdebernseradecuadasalas
caractersticasdelapoblacinobjetivo(nivel
acadmico,ubicacingeogrca,accesoa
medios)yaladisponibilidadderecursospor parte del evaluador. Es
usual que el evaluador adquiera un compromiso
decondencialidadconelevaluadoquele
obligaamantenerbajoreservalosresultados individuales. Esto no
constrie posibilidades de preparar y dar a conocer reportes
globales de la poblacin objetivo y sub-agrupaciones de sta, para
atender requerimientos de informacin de otros usuarios del
proceso.II. DESARROLLO DE PRUEBASUninstrumentodeevaluacinopruebaes
unconjuntointencionalmentearticuladode
temsatravsdecuyaaplicacinseinereel desempeodequienessonevaluados,en
relacin con el objeto de evaluacin. Una prueba
esmsquelasimplesumadelostemsque
laconforman,aunquesupoderevaluativose
derivadelapotenciaparaevaluarquetengan
todosycadaunodeellos.Seesperaqueun
instrumentodeevaluacinseaunaunidad
evaluativacompleta,armnica,queresponda
efectivamentealospropsitosplanteadosen su marco de fundamentacin
conceptual y a las caractersticas denidas en las especicaciones de
prueba. Siendo as, la elaboracin de tems se entiende como una fase
crucial en la cual se materializan esos propsitos y
caractersticas.26Producir esa unidad evaluativa integral que es la
prueba demanda planeacin, organizacin ypermanenterevisinycualicacin
delproducto.Noselograapartirdela agregacin, a posteriori, de tems
elaborados aisladamente,aunqueaparentementestos
tenganrelacinconelobjetodeevaluacin. Cada tem debe ser construido
con la intencin claradeevaluarunatareaqueesparte
integraldelobjetodeevaluacinyqueest
descritadentrodelaestructuradeprueba, complementando a los dems
tems; es decir, cada tem debe constituirse en pieza esencial del
instrumento. Hacer tems de buena calidad implica, adems,
conocerlascaractersticasdelosdistintos
formatosdetemssusceptiblesdeutilizacin, aplicar las reglas para su
correcta elaboracin y evitar los factores que pueden alterar su
validez. Quizs, por todo esto, elaborar tems ajustados a las
especicaciones de prueba es la tarea ms difcil en el proceso
evaluativo4. 1. CONTENIDO DE LOS
TEMSLaestructuradepruebay,especficamente,
lastareasdeevaluacindefinidasenella
orientanalelaboradorenrelacincon culessonlosaspectostpicos,temas,
problemticas,etc.-sobrelosquedebe formular sus tems. Actualmente
los procesos deevaluacineducativatiendenhaciael reconocimiento de
competencias ms que a laverificacindelaapropiacindedatoso
contenidos aislados. Si bien es cierto que el concepto de
competencias es complejo y polismico, desde una postura, ms o menos
generalizada en el campo de la medicin
ylaevaluacin,sepuededecirqueelaborar
untemparaevaluarcompetenciassupone
indagarsihahabidounprocesodeformacin
quehayapotenciadoenelevaluadoelusodel
conocimiento,msquelameraacumulacin del mismo; dicho en otros
trminos, el tem que evala competencias busca evidenciar lo que el
evaluado es capaz de hacer con lo que sabe, en
contrasteconuntemtradicionalquebuscara vericar cunto l sabe.
Noessimplerealizarlacaracterizacindeun
temqueevalacompetenciasfrenteauno
tradicional;noobstante,parecerhabercierto
niveldeacuerdoenqueeltemtradicionales
pococontextualizadoy,enmuchasocasiones, soslaya aspectos como la
pertinencia o la utilidad en la vida cotidiana de aquello por lo
cual indaga; untemtradicionalcomnmenteseinspira
envisionesdisciplinaresfundamentalmente temticas y pondera procesos
como el recuerdo de categoras propias de dicha visin disciplinar
(deniciones,frmulas,acontecimientos,etc.),
msqueenlacapacidadparaanalizartales
categorasyaplicarlasenlaresolucinde problemticas.De otra parte, un
tem para evaluar competencias ountemdecompetencias,comosuele
denominrsele,escontextualizado,esdecir, se plantea a partir de
situaciones o problemas reales,pertinenteseinteresantesyofrece
informacinquenoseconsideraobligatorio
conocerdememoria(especialmenteen laactualidad,cuandosondiversaslas
posibilidadesdeaccesoalainformacin)
yquepermitecircunscribirelproblema
alrededordeciertasvariablesocondiciones
deinters;eneltemdecompetenciasel
contextosirveparasituarconceptualmente
alevaluado.Conuntemdecompetencias
sepretendevalorarlacapacidaddeusarel
conocimientosobreuntema,teoraohecho
pararesolverproblemticas,paraplantear
hiptesis,paraproponerexplicaciones,para interpretar, utilizar y
evaluar ese tema, teora o hechobajocircunstanciasdistintas,etc.As,
elaborar un tem de competencias supone una
posturaeducativaenlacualelconocimiento es objeto de conocimiento y
se considera que esunobjetotil,susceptibledeanlisisyen
permanentetransformacin.Poreso,enlos 4 Hambleton, R. y Zaal, J.
(1994). Advances in educational psychological testing. Boston:
Kluwer Academic Publishers.27ZONA NORTE: Taller Elaboracin de
temstems de competencias se suele indagar por el
cmo?,porelporqu?,porelparaqu?, por el qu pasara si...?, por el qu
signica?, msqueporelqu?,cundo?yquin?
Untemdecompetenciasdebepromoverla reexin sobre el conocimiento y no
la repeticin del conocimiento.2. FORMATOS DE
TEMSComosunombreloindicacorrespondeala
formaenlacualseestructuranlostems.La
siguientegrcamuestraunaclasicacinde formatos de tems basada en lo
que un evaluado hace cuando se enfrenta a un tem: seleccionar o
producir una respuesta.En un instrumento es posible incluir
variedad de formatos. Cada uno de ellos tiene unos requisitos
particularesdeelaboracinyofrecedistinto potencial evaluativo. Es
importante, eso s, que cadaformatoutilizadoenuninstrumentoest
debidamente acompaado de las instrucciones
queorientanlamaneraderesponderlo.
Adems,porconsideracinconelevaluado, generalmente se procura
incorporar un nmero signicativo de tems de un mismo formato, de tal
manera que la lectura de instrucciones que a veces puede resultar
dispendiosa, dependiendo del formato- no desplace la intencin
evaluativa central.Esimportantereconocerquelos
formatosdeterminanengranparteelproceso de calicacin. Los tems de
seleccin mltiple connicarespuesta,porejemplo,secalican
comocorrectooincorrecto;10,dadoque slo admiten una opcin como
respuesta; otros formatosdeseleccinadmitencalicacinde
crditoparcial(cadaopcintieneunpesoen
lacalicacin);losformatosdeproduccinde
respuesta(porejemplolosensayos)exigen
elestablecimientodecriteriosdecalicacin
respaldadosenelsabersobreelobjetode
evaluacinydemandanjuiciososprocesosde entrenamiento a los
calicadores para asegurar precisin y equidad en la calicacin.
28Enestedocumentosetrabajaesencialmente
latcnicadeelaboracindetemsdelformato
seleccinmltipleconnicarespuesta;de cualquier manera, es de sealar
que muchas de lasreglasparasuelaboracinsonpertinentes tambin para
otros formatos.3. PARTES DE UN TEM DE SELECCIN MLTIPLE CON NICA
RESPUESTALas partes bsicas de un tem de seleccin mltiple
sonelcontexto,elenunciadoylasopcionesde respuesta, como se muestra
en el grco. CONTEXTOEslainformacinquesitaconceptualmente
alevaluado.Proveeelementosnecesariosy sucientes para focalizar la
tarea de evaluacin. Enunsentidoamplio,elcontextoabarcatodo
elsaberpreviodelevaluadosobreelobjeto
deevaluacin;noobstante,enelproceso deelaboracindeuntem,esusualqueel
evaluadorencuentrepertinenteynecesario
presentaruntextouotrotipodeinformacin
quecontribuyaaprecisarlascondiciones
delproblema,lasvariablesqueesprudente
considerar,oparaubicareneltiempoyen
elespaciolaproblemtica,etc.Elcontexto
puedeseruntextoporejemplo,entemsde comprensin de lectura-, una
grca, un dibujo, una tabla o cualquier otra forma de presentacin
delainformacinapartirdelacualsederiva
elenunciado.Laseleccinoelaboracindel
contextoesunalaborexigenteencuantosu
propsitoesjustamentecontextualizaryno confundir al evaluado; debe
estar articulado con la tarea de evaluacin y no debe convertirse en
factor que disminuya del tiempo disponible para responder; es
decir, su extensin y complejidad
debenconsiderarse,tambin,alaluzdelas condiciones logsticas de la
evaluacin. ENUNCIADOEselplanteamiento,propiamentedicho,dela
problemtica que se espera sea resuelta por el evaluado5. En el
enunciado se hace explcita la tarea de evaluacin y, por tanto,
dirige el esfuerzo delevaluadoparageneraroseleccionaruna respuesta,
por lo cual es fundamental que est escrito en lenguaje claro y
preciso. Tradicionalmentelosenunciadosdetemsde
seleccinmltipleseplanteanenformade pregunta, o como una proposicin.
En el primer 5 AERA, APA, NCME. (1999). Standards for educational
and psychological testing. Washington: AERA.29ZONA NORTE: Taller
Elaboracin de temscaso, las opciones se redactan como respuestas a
la pregunta; en el segundo caso, el enunciado
constituyelaprimerapartedeunaproposicin
ycadaunadelasopcionesdebecompletar coherentemente el enunciado.
Lautilizacindeunauotraformadeplantear
elenunciadoesdecisindelevaluadory
generalmentetienequeverconlafacilidadpara
redactar,tantoelenunciadocomolasopciones. Conviene tener en cuenta,
eso s, que la redaccin en forma de pregunta resulta mucho ms clara
para poblaciones infantiles; es decir, los nios parecen responder
mejor a la tarea de evaluacin cuando el enunciado es una pregunta
que cuando es una proposicinincompleta.Cualquierasealaforma
enqueseredacteelenunciado,esimportante
vericarsuclaridad,precisinyarticulacincon las opciones de
respuesta. OPCIONES DE RESPUESTALasopcionessonposiblesrespuestasala
problemticaplanteadaenelenunciado.En
elformatodeseleccinmltipleconnica respuesta, como su nombre lo
indica, slo una de estas opciones es verdaderamente pertinente
ycompletaparasolucionarelproblematarea
deevaluacin-;lasdemsopciones,aunque
puedenservistascomorespuestasplausibles
porlosevaluadosquenodominanlatareade evaluacin, no responden en
forma completa o pertinente a la problemtica formulada.
Otrosformatosdeseleccinadmitenms deunaopcincomorespuestavlida.En
laactualidad,cadavezconmsfrecuencia,
losinstrumentosdeevaluacineducativa incorporan formatos de tems en
los cuales cada opcin de respuesta es ponderada de acuerdo
consugradodevalidezopertinencia;eslo que se denomina tems de crdito
parcial, y su elaboracin supone que todas las opciones son
respuestas vlidas, aunque cada una en distinto
grado,dependiendodediferentescondiciones planteadas o posibles de
inferir del contexto y del enunciado. Se busca con este tipo de
tems, ms quevalorar,enunacategorizacindicotmica,
sielevaluadorespondionorespondiala tarea de evaluacin, que sea
posible identicar perles o estilos de desempeo.4. REGLAS PARA LA
ELABORACIN DE TEMS DE SELECCIN MLTIPLE CON NICA
RESPUESTALaexperienciapropiadevariosaosenel
desarrollodeinstrumentosdeevaluacin,
combinadaconladeentidadesextranjeras dedicadas a la misma labor y
con los hallazgos denumerososestudiosrealizadossobrelas tcnicas que
conducen a mejorar la calidad de los tems6 7 8 9 10 ha hecho
posible que en la actualidad se cuente con un conjunto de reglas
que orientan la correcta elaboracin de tems. A continuacin se
presenta un compendio de dichas reglas. ASPECTOS GENERALES No es
recomendable trabajar contrarreloj cuando se busca tener un
instrumento de calidad. Haga unaprogramacinjuiciosadetodaslasfases
del diseo del instrumento y, particularmente, de
lafasedeelaboracindetemscontemplando tiempos de revisin, ajustes y
edicin. Conforme el equipo de trabajo con base en las competencias
de cada miembro y en su saber 6 Haladyna y Downing. (1989). A
taxonomy of multiple choice tem writing rules. En Apply Measurement
in Education. Vol. 1.7 Haladyna, T. (1994). Development and
validatin multiple choice test tems. New Jersey: Lawrence Earlbaum
Associates.8 Cheung, D. Y Bucat, R. (2002). How can we construct
good multiple choice tems? Hong Kong: Sciens and Technology
Education
Conference.9ICFES.(2004).Estndaresparalaconstruccindepruebas.GrupodeEvaluacindelaEducacinSuperior.Bogot:
ICFES.10Cohen,A.yWoollack,J.(2004).Helpfultipsforcreatingreliableandvalidclassroomtest.EnHandbookonTest
Development. U. Wisconsin. 30sobreelobjetodeevaluacin;eldominioen
ladisciplinaocampoqueseevaluardebe combinarse con el conocimiento
en medicin yevaluacin.Enloposible,cuenteconel apoyo de alguien con
experiencia en el tema. Planeesesionesdeinduccinparaquienes
vayanaelaborartemsyasegresedeque comprenden el propsito del
instrumento y los dems planteamientos bsicos del marco de
fundamentacin y de las especicaciones de prueba. Si se trata de
personas sin experiencia, deben ser entrenados adems en las tcnicas
de elaboracin de tems. Un buen tem, por lo general, ha
experimentado todaunametamorfosisdesdesuversin
original.Durantelafasedeelaboracinde los tems, realice sesiones de
socializacin o anlisis conjunto de los tems elaborados por
cadamiembrodelequipo,conelndeque cada uno tenga oportunidad de
hacer aportes a la cualicacin de todos los tems (tanto en lo que
reere a la forma como al contenido).
Eviteusareufemismosypreeraunlenguaje
directo,sinsacricarelniveltcnicoy acadmicodelproceso.Laclaridady
concrecinenellenguajedebeseruna
consideracinpermanente;utilicedibujos,
grcosotablasslosiestosenrealidad aportanalacomprensindelatareade
evaluacin; tenga en cuenta el tiempo que el evaluado debe emplear
para leer instrucciones, contextos, enunciados y opciones, y el
tiempo total del cual dispone para responder.
Asegresedequeenningunapartedel
instrumento(portada,textos,instrucciones,
tems,etc.)hayaerroresdeortografa,de gramticaodepuntuacin,quenose
incluyaincorrectamenteabreviaciones,citas, nombres, cifras, fechas,
etc. REGLAS SOBRE EL CONTENIDO DE LOSTEMS
Eviteelaborartemsqueconfundenal evaluado. Diferentes estudios han
establecido culessonalgunasdelassituacionesque
llevanapercibirlostemscomoconfusos11; entre stas estn: a)Contenido
trivialb)Presencia de informacin irrelevantec)Presentacin ambigua
de las opciones de respuestad)Discriminacin muy na difcil de
percibir entre las opciones de respuesta
e)Presentacindeinformacinenmodo distintoacomohasidoaprendidaporla
poblacin evaluada, dentro de su proceso educativo.
Cadatemdebecorresponderaunatarea deevaluacindenidaenlaestructurade
prueba. Evite evaluar el mismo aspecto especco con varios tems.
Aproveche cada tem para hacer cada vez ms completa la evaluacin.
Plantee una sola problemtica en cada tem.
Evitetemsqueincluyanposiciones ideolgicasoprejuicios;tengaencuenta
quelasproposicionesprejuiciosaspueden resultar en una ofensa para
cualquiera de los evaluados.Seexceptaestarecomendacin si justamente
dichas posiciones son el objeto deevaluacin;entoncesserobligatorio
incluirlas. Elvocabularioutilizadodebeseradecuado para la poblacin
objetivo. Cadatemdebeserindependienteyno proveer informacin para
responder a otros. Noutilicetemsqueaparezcanenlibros, revistas u
otros documentos, como base para sus tems. Elabore tems originales.
Evite tems en los cuales se indague la opinin
(parecernoargumentado)delevaluado(a menos que el instrumento
justamente pretenda servir para un sondeo de opinin). 11 Roberts,
D. (1993). An empirical studying on the nature of trick questions.
Journal of educational measurement. Vol 30. 31ZONA NORTE: Taller
Elaboracin de tems Eviteplanteartemscuyarespuestavlidase determine
segn la opinin de quien la elabora. Balancee la complejidad de los
tems para que el instrumento cubra los niveles de habilidad de la
poblacin objetivo, es decir, la prueba debe incluir tems de
dicultad alta, media y baja. REGLAS SOBRE CONSTRUCCIN DEL ENUNCIADO
Si plantea el enunciado en forma de proposicin incompleta asegrese
de usar conjugaciones verbales,gneroynmeroadecuadospara
lasopcionesderespuestaqueplantear.Si lo escribe en forma de
pregunta asegrese de usar adecuadamente signos de interrogacin y la
estructura gramatical de una pregunta. Presente en el enunciado la
tarea de evaluacin. Escriba con claridad. Evite texto excesivo.
Redacteelenunciadoenformapositiva;es decir, evite negaciones.
REGLAS SOBRE CONSTRUCCIN DE OPCIONES DE RESPUESTA
Asegurelaconcordanciagramaticalentrela proposicin del enunciado y
cada opcin. Organicelasopcionesenunordenlgico (alfabtico, longitud,
etc.) o numrico. Mantenga la independencia entre las opciones. stas
no deben solaparse o intersectarse y no deben ser sinnimas.
Reraseentodaslasopcionesalproblema
planteadoenelenunciado.Eviteopciones fcilmente descartables.
Elaboreopcionesderespuestadelongitud similar. Evite colocar como
opcin: -Todos los anteriores -Ninguno de los anteriores-A y B son
correctas (o cualquier combinacin de opciones)-No s
Redactelasopcionesenformapositiva,es
decir,evitenegaciones.Sidebecolocaruna negacin, resltela (use
negrilla o maysculas sostenidas).
Norepitaenlasopcionesfrasescontenidas en el enunciado.
Elaboretemscon4opcionesderespuesta. Elaborar opciones plausibles es
dispendioso; seguramenteganarcalidadenlasque redacte si no son
demasiadas. Hay referencia de distintos estudios que analizaron la
cantidad deopcionestilesparalospropsitosde
evaluacin1213;sibiennoexisteconsenso
alrededordeunniconmerodeopciones, seencuentraamenudoconveniente,en
cuantoafacilidadderedaccinycapacidad
dediscriminacin,trabajarcon4opciones;
parapoblacionesdeinfantespuedeser conveniente usar 3 opciones.
Eviteenlasopcioneselusodeadverbios
como:-Siempre-Nunca-Totalmente-Absolutamente-Completamente
Laposicindelaopcinvlidadebe balancearseentretodoslostemsdel
instrumento.Esrecomendablequeaparezca proporcionalmente en cada
posicin posible. Evite que la opcin vlida pueda ser identicada
fcilmente por contraste con las dems opciones, por alguna de las
siguientes situaciones: -tener la mayor
longitud-serlaproposicindemayorprecisino imprecisin12 Haladyna, T.
y Downing, S. (1995). How many options is enough for a multiple
choice test tem. New Jersey: LEA.13 Pardo, C. (1994). Nmero til de
opciones de respuesta en las pruebas Saber. Documento de trabajo.
Bogot: ICFES.32-estar redactada en un tipo lenguaje diferente
(tcnico o comn)-tener el mayor nivel de generalizacin o de
particularidad -tener las mismas palabras que el
enunciado-referirse a una problemtica o tema diferente
Justiqueadecuadamentecadaunadelas opciones para garantizar que slo
hay una vlida y que las dems son plausibles para quienes no dominan
completamente la tarea de evaluacin5. SOBRE LA VALIDEZEl concepto
moderno de la validez es global, a diferencia del clsico que
consideraba distintos tiposdevalidez.Sereconocequelavalidez
noesdelinstrumento,sinodelasinferencias
einterpretacionesrealizadasapartirdelas
puntuacionesobtenidasenunprocesode evaluacin. La validez se
entiende como un juicio evaluativo
delgradoenelcuallaevidenciaempricay
tericasustentanlapertinenciayconveniencia de las inferencias acerca
de los resultados en un instrumento de medicin, as como las
acciones que se realizan a partir de dichos
resultados14.Dichodeotraforma,lavalidezhacereferencia
aqutanfuertessonlosargumentosylas
evidenciasquerespaldanlasinterpretaciones
hechasacercadelobjetodeevaluacin(por ejemplo, la competencia) a
partir de los resultados obtenidos. En tal sentido, la validez
compromete a todas las etapas del diseo de pruebas: desde
ladenicinycaracterizacindelobjetode evaluacin hasta la divulgacin
de resultados. Elevaluadordebereconocerqueelusuario directo de la
evaluacin el evaluado-, as como los usuarios indirectos de la
misma, utilizarn los resultados para comprender y analizar
procesos, para emitir juicios, para tomar decisiones, etc.,
y,portanto,essuresponsabilidadticay
socialasegurarsedequetalesanlisis,juicios y decisiones sean
verdaderamente posibles de derivar de la evaluacin que realiza.
Larigurosidadacadmicaytcnicaenla
elaboracindelostems(y,porsupuesto,en
lasdemsetapasdeldiseodelinstrumento) aporta para que los resultados
de la evaluacin sean pertinentes con su propsito. Las reglas de
elaboracin de tems descritas en este documento tienen la pretensin
de orientar al evaluador para quelostemsqueelaboraevalenrealmenteel
objetodeevaluacinquesepretende;eneste sentido, la aplicacin de
tales reglas contribuye a consolidar la argumentacin alrededor de
que lo que los resultados indican es verdadero.En resumen, en lo
que concierne a la elaboracin de tems, los siguientes son factores
que afectan negativamente la validez:
Latareaalacualseenfocaeltemnoes relevante para la evaluacin del
objeto denido en el marco de fundamentacin. En el tem se incluye
informacin que la facilita o la diculta, ms all del propsito de
evaluacin.Ahora bien, en la fase de elaboracin de tems
nobastaconaplicarlasreglasdeelaboracin
paracontribuiralavalidez;esnecesario
garantizarquequienesvanaserevaluados
condichostemsnolleguenaresponderlos correctamente por
circunstancias distintas a su propia capacidad o competencia.
As,entonces,otrofactordeterminantedela
validezeslacondencialidaddelinstrumento, antes de su aplicacin. Con
ello se asegura que lascondicionesenlascualeslosevaluados
seenfrentanalaaplicacindelinstrumento son equitativas y, por ende,
que las escalas de calicacin que se generen y los resultados que se
divulguen reejan genuinamente el objeto de
evaluacin.Losanexos2y3sonejemplosde mecanismos utilizados en el
ICFES con miras a guardar la condencialidad de los tems durante el
proceso de elaboracin.14 Messick, S. (1989). Validity. In R.L. Linn
(Ed.), Educational measurement (3rd ed., pp. 13-103). New York:
Macmillan. 33ZONA NORTE: Taller Elaboracin de temsIII. EJERCICIO
PRCTICO PARA APLICAR LAS REGLAS DE ELABORACIN DE
TEMSUnaveztrabajadoestedocumentoylogradala
familiarizacinconlasreglasdeelaboracinde tems, se sugiere realizar,
preferiblemente en grupo, la lectura de los siguientes ejemplos de
tems, con elndeidenticar,encadaunodeellos:a)qu
sepretendeevaluar,b)culessonlasreglasde elaboracin de tems que se
aplican correctamente, c) cules reglas se pasaron por alto y,
despus de esteproceso,proponerconjuntamenteformas de cualicacin de
cada tem; para esto, el grupo
deelaboradoresdeberadelantarreexionesy discusiones, con base en
argumentos acadmicos ytcnicos,sobreelpropsitodeevaluacinque tendran
dichos tems.Tengaencuentaquenohayunafrmulanica y universal para
mejorar la calidad de un tem, ni
hayunanicaversinquepuedaconsiderarse
exclusivamentecorrecta;cadagrupode evaluadores que realice el
ejercicio podr llegar a plantear diferentes versiones, todas de
mucha calidad.Porloanterior,enestedocumentono
seincluyeunapropuestadeajuste;adems, intencionalmente se ha
seleccionado un grupo de tems redactados con un enfoque tradicional
(no de competencias) dado que, tanto su enunciado
comosusopciones,sonmenoselaboradasy extensas, lo cual facilita el
ejercicio propuesto.tem 1.LosextinguidoresconbaseenaguaNOson
apropiados para apagar fuegos de A. AlcoholB. AlgodnC. PapelD.
Maderatem 2.Las bebidas gaseosas como la coca-cola tienen un pH
cercano aA. 1B. 2C. 3D. 4tem 3.Elmayorcomponentedelgasnaturalquese
usa en los hogares en Hong Kong esA. Monxido de carbonoB. Nafta
gaseosaC. HidrgenoD. Metanotem 4.El zinc es mejor que el latn si se
quiere evitar el xido en una pieza de hierro por electroplatinado
porqueA. El zinc es ms barato que el latnB. El latn es txicoC. El
zinc puede prevenir que el hierro entre en contacto con el agua y
el aireD. Elzincesmsreactivoqueelhierroypor
lotantoseprevienelaoxidacinaunqueel electroplatinado se rompa.tem
5.Para la mayora de los plsticos es cierto queA. No reaccionan con
cidosB. Se pueden moldear fcilmenteC. Son inamablesD. Todas las
anteriorestem 6.Siunapersonaconsumeexcesode carbohidratos es
probable que la temperatura de su cuerpoA. Se incrementeB.
Permanezca igualC. Se decrementeD. Se altere34InterpretarHace
referencia a las acciones que realiza una persona, con el propsito
de comprender una situacin en un contexto especco. La interpretacin
implica dar cuenta del sentido de un texto, de una proposicin, de
un problema, de un evento o de una grca, mapa, esquema o simbologa
propia de la disciplina objeto de evaluacin, e involucra acciones
tales como: Identicar las variables involucradas en una situacin
problema y sus relaciones Describir el estado, las interacciones o
dinmica de un sistema, en trminos grcos o simblicos.
Traducirinformacindeunsistemaderepresentacinaotro(identicarelesquemailustrativo
correspondiente a una situacin dada o, identicar la descripcin ms
apropiada para determinada grca) Plantear conclusiones vlidas a
partir de un conjunto de datos o eventosArgumentarHace referencia a
las acciones que realiza una persona con el propsito de fundamentar
o sustentar un planteamiento, una hiptesis, un diseo, el uso de un
procedimiento, la solucin a un problema
ounadecisin.Estacompetenciaexigeexplicitarlosporqudeloquesehace,einvolucra
acciones tales como: Fundamentar la ocurrencia de determinados
fenmenos con base en planteamientos tericos
Sustentarconclusionesparadiferenteseventosofenmenos,medianteelestablecimientode
cadenas de relaciones entre conceptos, postulados o principios
tericos. Sustentar conclusiones a partir de datos o procedimientos
experimentales. Argumentar cul es la informacin relevante para la
resolucin de un problema. tem 7.El mejor equipo de ftbol en la liga
colombiana esA. MillonariosB. NacionalC. SantafD. Cruzeirotem
8.Lainvestigacinhaencontradoqueasignar tareas en el proceso
educativo esA.Unaestrategiadeenseanzaefectivasila tarea es
relevante para el aprendizajeB. Mejor, mientras ms tareas se
asignenC.til,siseasignantodoslosdas,excepto el viernesD.
Innecesaria si se ensea bienANEXO IEJEMPLO DE CARACTERIZACION DE
COMPETENCIASEN EL ICFES1515 Gonzlez, M. Espndola, C. y otros.
(2005). Manual para la construccin de preguntas ECAES de Biologa.
Documento de trabajo: ICFES - Acofacien.35ZONA NORTE: Taller
Elaboracin de temsProponerHace referencia a las acciones que
realiza una persona, con el propsito de plantear alternativas
dedecisinodeaccin;establecerloquepuedeocurrirenunsistemaosituacincuando
cambian las condiciones y dilucidar relaciones o vnculos no
evidentes entre eventos o conceptos. Esta competencia involucra
acciones tales como: Predecir el comportamiento de un sistema o
situacin si se realizan cambios en las interacciones o en sus
condiciones iniciales
Conjeturar,apartirdeunestadonal,lascondicionesoestadosprecedentesquelohicieron
posible. Plantear el diseo experimental o la estrategia ms adecuada
y pertinente para realizar determinado estudio o contrastar una
hiptesis Establecer regularidades vlidas para un conjunto de
situaciones aparentemente desconectadas Plantear hiptesisANEXO
IISUGERENCIAS PARA GARANTIZAR LA CONFIDENCIALIDAD DEL MATERIAL DE
PRUEBA16 Restringir el acceso a toda la prueba o a partes de la
misma y a la armada de la prueba, a un grupo pequeo de personas que
garantice la condencialidad del proceso. Se sugiere encargar a una
sola persona de ser el responsable de la seguridad de archivos
magnticos e impresos de los tems.
Cuidarquenoquedenencirculacincolectivalasversionesenpapelolascopiasdelostems
generadas durante el proceso de elaboracin. Finalizado este
proceso, las versiones que no vayan a ser incluidas en la prueba
deben ser destruidas; los tems aprobados debern ser mantenidos bajo
custodia del responsable de la seguridad.
Silostemsseencuentranenarchivosmagnticos,stosdeberntenerunaclaveopassword
paralecturayparamodicacin.Dichaclavesolopodrserconocidaporelresponsabledela
seguridad de los tems. Ninguna persona que elabore tems podr
guardar o copiar los tems hechos por otros ni de los elaborados por
ella misma.Los talleres realizados con el n de revisar y ajustar
tems debern contemplar mecanismos de seguridad que eviten que los
tems sean conocidos por personas ajenas al grupo responsable de la
elaboracin. Cuando asesores o expertos conozcan los tems con el
propsito de revisarlos, deber asegurarse que devuelven todo el
material de prueba que les haya sido entregado.16 Grupo de
Evaluacin de la Educacin Superior. (2003). Estndares para la
construccin de pruebas. Bogot: ICFES.36ANEXO IIIMODELO DE ACTA DE
COMPROMISO17PROGRAMA UNIVERSIDADCIUDADYo, , identicado(a) con cdula
de ciudadana nmerome comprometo a cumplir con las labores asignadas
de acuerdo con los ms altos estndares de competencia tica e
integridad profesional, teniendo debida consideracin a la
naturaleza y propsito del trabajo desarrollado. Tambin me
comprometo
anorevelardirectaoindirectamenteaningunapersona,nidurantelavigenciadeestetrabajoni
despus de su terminacin, ninguna informacin que hubiera obtenido
durante el mismo y que no sea de dominio pblico.Firma FechaCC. No.
17 Documento diseado y usado por el Grupo de Evaluacin de la
Educacin Superior del ICFES en procesos de contratacin para
elaboracin de pruebas.