Escribir Es Re-escribir

Escribir es re-escribir Un anaacutelisisde contenidos de los informes

realizados a los artiacuteculos nopublicados en Infancia y

AprendizajeEMILIO SAacuteNCHEZ JESUacuteS NICASIO GARCIacuteA Y PABLO DEL RIacuteO

Universidad de SalamancaUniversidad de Leoacuten

ResumenEn este artiacuteculo nos hemos propuesto analizar las razones que motivan la no aceptacioacuten de los artiacuteculos

enviados a la revista y al mismo tiempo la labor que al respecto llevan a cabo los revisores Para ello hemoscreado un sistema de anaacutelisis capaz de desentrantildear todos los contenidos de los informes de evaluacioacuten que aludena cuatro tareas diferentes que hemos identificado en la labor de los revisores evaluar apoyar sugerir y clarificarCon ese sistema se han analizado 50 informes de evaluacioacuten que corresponden a los 25 primeros artiacuteculos quefueron no aceptados para publicacioacuten en el presente periodo de la revista Respecto del anaacutelisis de las objecionespresentamos las frecuencias de 95 objeciones diferentes organizadas en 24 categoriacuteas y en 6 apartados Y respectodel anaacutelisis de la labor de los revisores se presenta un anaacutelisis de los recursos retoacutericos empleados los diferentesestilos que hemos identificado y un anaacutelisis de las tareas no evaluativas que tambieacuten estaacuten presentes en losinformes Entendemos que este anaacutelisis puede propiciar una doble toma de conciencia que motive una reflexioacuten enla comunidad acadeacutemica sobre el proceso de evaluacioacuten en siacute y sobre el modo de acometerlo

Palabras clave Artiacuteculos no aceptados tareas recursos retoacutericos y estilos de los revisores

Writing as rewriting A content analysis ofpeer reviews of non-accepted paperssubmitted to Infancia y Aprendizaje

AbstractThe paper analyses the reasons that motivate the non-acceptance of articles sent to the journal and in this

respect also the work carried out by referees To do so we have designed a system of analysis capable ofexplaining the content of peer reviews We have thus identified four different tasks in the work of referees Toassess support suggest and clarify 50 reports have been analysed using this system corresponding to the first25 papers rejected for publication in the journalrsquos current period First we analysed the reasons for notaccepting articles the frequencies of 95 different objections organised into 24 categories and grouped under 6headings are provided Second we analyse the rhetoric resources employed by referees and describe the differentstyles identified Finally we analyse non evaluative tasks also present in peer reviews We feel that thisanalysis could favour a double awareness in the academic community promoting a reflection on 1) theassessment process itself and 2) the way it is undertaken

Keywords Non-accepted papers refereesrsquo tasks rhetoric resources refereesrsquo evaluation style

Agradecimientos Agradecemos los comentarios criacuteticos y sugerencias diversas que nos ofrecieron los tres revisoresde este artiacuteculo y tambieacuten los efectuados por nuestros colegas Javier Rosales Ricardo Garciacutea y Gerardo Prieto

Correspondencia con los autores Emilio Saacutenchez Facultad de Psicologiacutea Departamento de Psicologiacutea Evolutiva y dela Educacioacuten Avda de la Merced 109-131 37005-Salamanca e-mail esanchezguguusales Jesuacutes NicasioGarciacutea Facultad de Educacioacuten Departamento de Filosofiacutea y Ciencias de la Educacioacuten Campus de Vegazana sn24071-Leoacuten e-mail dfcjgsunileones Pablo del Riacuteo Facultad de Ciencias Sociales Departamento deComunicacioacuten Audiovisual Campus Unamuno sn 37071-Salamanca e-mail prioguguusales

Original Recibido Septiembre 2001 Aceptado Noviembre 2001

copy 2002 by Fundacioacuten Infancia y Aprendizaje ISSN 0210-3702 Infancia y Aprendizaje 2002 25 (1) 5-35

A lo largo de los uacuteltimos antildeos venimos apreciando un notable incremento deoriginales que llegan a la revista (superan los sesenta cada antildeo) que como ocurreen todas las revistas con criterios de calidad homologados son sometidos a unexigente proceso de revisioacuten a cargo de dos expertos seleccionados por uno de loseditores asociados de la revista El hecho que motiva estas paacuteginas es que unabuena parte de esos trabajos no son aceptados para publicacioacuten (veacuteanse las cifrasque se ofrecen en la editorial de este mismo nuacutemero) y el resto sufre en el trans-curso del proceso una considerable transformacioacuten De hecho ni uno soacutelo mdashen elperiacuteodo que hemos analizadomdash ha llegado a publicarse sin introducir alguacuten tipode cambio en la versioacuten inicial De ahiacute que como reza el tiacutetulo de este trabajoescribir sea en realidad un proceso de revisioacuten criacutetica optimizacioacuten y mejoraprogresivas un proceso en suma de reescritura

El sentido de este artiacuteculo es hacer puacuteblico lo que suele quedar en la trastien-da de este complejo proceso Esto es tanto las razones que motivan la no acepta-cioacuten como el tipo de labor que llevan a cabo los revisores La toma de concienciasobre esa doble actividad mdashde autoriacutea y de revisioacutenmdash que aquiacute intentamos pro-piciar puede ser a nuestro modo de ver positiva aunque conlleva tambieacuten algu-nos riesgos

Por lo que a los beneficios se refiere merece la pena resentildear en primer lugarel maacutes obvio de todos el que se deriva de ofrecer de forma ordenada las razonesque motivan la no aceptacioacuten o el cuestionamiento de los trabajos Es bien ciertoque contamos con el precedente de las normas APA (1994) y de las normas espe-ciacuteficas que la propia revista ofrece a los autores No obstante y sin negar el valorde esas fuentes cabe la posibilidad de que resulten poco operativas para los auto-res especialmente en el caso de aqueacutellos que cuenten con poca experiencia puestales normas pueden ofrecer a los interesados un ldquoidealrdquo demasiado abstracto ylejano

Abstracto en el sentido de que constituyen recomendaciones (especialmentelas que ofrece la revista) que quizaacutes no proporcionen claves suficientementepoderosas y precisas para los procesos de elaboracioacuten y revisioacuten de los trabajos

Lejano en el sentido de que pueden reclamar competencias excesivas para lasposibilidades inmediatas de algunos autores o autores noveles En ese sentido elproceso de evaluacioacuten puede y a nuestro juicio debe tener un valor formativoque ayude a extender a toda la comunidad acadeacutemica criterios de calidad cadavez maacutes elevados

En segundo lugar creemos que el anaacutelisis de la actividad de los revisores nospermitiraacute ofrecer una descripcioacuten que motive una toma de conciencia colectiva en laque cada cual pueda objetivar sus preferencias y al hacerlo explorar la posibili-dad de enriquecer su modo de obrar iquestQueacute tareas se acometen en la revisioacuteniquestQueacute marcos de referencia se emplean iquestCuaacuteles son los estilos maacutes comunes de revi-sioacuten iquestQueacute recursos especiacuteficos pueden facilitar la comunicacioacuten con los autoresEstas son algunas de las preguntas que intentaremos contestar en lo que sigue

En tercer lugar podriacuteamos ayudar a extender una conviccioacuten muy importan-te que necesitamos evaluacioacuten externa y que la necesitamos todos Ahora bien y auncuando escribir es como ya se ha comentado reescribir (un proceso recursivo yprogresivo de mejora mdashElbow 1988 2000 Kellogg 1994 Sorenson 1997mdash de toma de conciencia y de re-pensamiento mdashWong 1999 Wray 1998mdash)no hay razoacuten para que esa labor de por siacute exigente sea maacutes incoacutemoda de lonecesario En una palabra el rigor con el que hay que emprender el proceso deevaluacioacuten no estaacute rentildeido con el reconocimiento del otro (del autor) y de esadualidad de funciones (control y reconocimiento) habremos tambieacuten de hablaren estas paacuteginas

6

Debemos finalmente resaltar que somos conscientes de alguno de losriesgos del trabajo que aquiacute presentamos El maacutes notorio es que el hecho dedescribir un comportamiento (el de los autores y revisores en este caso) sueleinterpretarse como una prescripcioacuten del mismo Intentaremos para evitarloemprender dos acciones diferentes Por un lado reiterar a lo largo de suspaacuteginas que eacutesta no es nuestra intencioacuten (aunque seguramente el riesgo nopodraacute ser conjurado por esas insistentes advertencias) Por otro indicar conclaridad cuando a la luz de los datos recogidos cabe ofrecer una sugerenciaconcreta algo que haremos en contadas ocasiones Quisieacuteramos en todocaso subrayar que las descripciones que nos proponemos realizar debentomarse como espejos desde los que reflexionar y no como un conjunto denormas que hubiera que adoptar (salvo en los casos en los que nos pronuncia-mos expresamente a favor de alguna medida concreta y que son recogidos enel decaacutelogo que ofrecemos en la discusioacuten) Un segundo riesgo del quesomos igualmente conscientes es que los autores interpreten de un modomuy lineal y tajante las razones de la no aceptacioacuten que iremos identifican-do Sobraraacute advertir que la no aceptacioacuten se produce por una acumulacioacuten deobjeciones (iexclla media por revisioacuten es de casi 16) pero es que ademaacutesmuchas de ellas tomadas en siacute mismas podriacutean no serlo si no tuvieacuteramos encuenta el resto del trabajo Dado que esta informacioacuten complementariasobre cada uno de los trabajos no puede trasladarse a estas paacuteginas hemos deaceptar que muy probablemente se malinterpreten algunas de las evidenciasreunidas al menos si se toman una por una Confiamos no obstante en queestos riesgos se vean compensados por los beneficios a los que tambieacutenhemos aludido

En definitiva en lo que sigue ofreceremos dos anaacutelisis diferentes El primerocentrado en los motivos que conducen a la no aceptacioacuten de los artiacuteculos elsegundo respecto del modo empleado por los revisores para llevar a cabo la tareade evaluacioacuten encomendada En los dos aacutembitos intentaremos ofrecer ejemplosilustrativos de las cuestiones maacutes relevantes Antes dedicaremos un apartado aclarificar la metodologiacutea que se ha utilizado

METODOLOGIacuteA

Para alcanzar estos objetivos hemos empleado el Anaacutelisis de Contenidos(AC) un meacutetodo procedente de campos tan lejanos como la arqueologiacutea (Gar-din 1980) y la comunicacioacuten de masas (Bardin 1977 Wimmer y Dominick1994) El AC permite levantar un inventario de repertorios culturales y comuni-cativos estableciendo en primer lugar taxonomiacuteas y tipicidades desde las queproceder a la identificacioacuten de concurrencias covariaciones y pautas estructuralescon las que categorizar los fenoacutemenos calcular factores e inferir procesos y siste-mas de causalidad

El AC combina habitualmente los acercamientos etic (categoriacuteas del investi-gador) y emic (categoriacuteas presentes en el corpus cultural) Es maacutes frecuente basar-se en las primeras en la tradicioacuten socioloacutegica de los anaacutelisis (Krippendorf 1990Loacutepez-Aranguren 1994) y maacutes en las segundas en las tradiciones etnograacuteficas ysemioloacutegicas Aquiacute adoptamos una perspectiva integradora (del Riacuteo 1996) rea-lizando primero un pre-anaacutelisis emic (de abajo a arriba guiado por el corpuscultural) y tambieacuten en la etapa del pre-anaacutelisis una construccioacuten teoacuterica de cate-goriacuteas etic La combinacioacuten de ambas se aplica sobre el corpus completo de casosen el anaacutelisis propiamente dicho

7

Muestra de informes de revisioacuten de artiacuteculos

Para poder identificar las regularidades que presentan tanto el modo de traba-jar de los revisores como las objeciones por ellos formuladas hemos tomadocomo base los primeros 25 informes negativos efectuados durante este periodolo que supone dado que cada artiacuteculo es evaluado por dos revisores anoacutenimos elanaacutelisis de 50 revisiones diferentes Un nuacutemero a nuestro modo de ver acepta-ble y en todo caso sumamente representativo del periodo actual

De manera maacutes concreta hemos analizado toda la documentacioacuten relativa alos trabajos que han sido considerados como no publicables lo que incluye doscategoriacuteas los trabajos no aceptados para publicacioacuten en su versioacuten actual y losque son rechazados sin dar la posibilidad de una nueva versioacuten

Los revisores son 50 expertos en los temas respectivos y son autores de publi-caciones por lo que poseen la experiencia de la autoriacutea aunque su grado de expe-riencia en tareas de evaluacioacuten de artiacuteculos es variable

Procedimiento del anaacutelisis de contenido y categoriacuteas

El anaacutelisis se ha realizado en dos fases que corresponden a los dos objetivos delartiacuteculo En la primera examinamos las causas que justifican la no aceptacioacuten Yen la segunda los contenidos de los informes que nos permiten analizar la laborde los revisores

Codificacioacuten de las causas de ldquono aceptacioacutenrdquo (tarea evaluadora)

Etapa 1 Pre-anaacutelisis 1 En primer lugar se realizoacute un pre-anaacutelisis para establecer las categoriacuteas del

anaacutelisis propiamente dicho para ello se descompuso una parte de los casos (8 delas 50 revisiones) en proposiciones la mayor parte de ellas (veacutease maacutes adelante)expresaban como cabiacutea esperar objeciones al trabajo El resto de los contenidosesto es los que no contienen objeciones fueron igualmente analizados pero hanservido como hemos venido insistiendo para el segundo de nuestros objetivoscaracterizar el trabajo de los revisores (veacutease su tratamiento en el apartado reservadoal respecto)

2 En segundo lugar se agruparon aquellas proposiciones-objeciones que teniacuteanun significado equivalente creando para cada agrupacioacuten de proposiciones-obje-ciones una formulacioacuten maacutes inclusiva a la que denominamos indicadores Esosindicadores se crearon por consenso entre los tres autores

Etapa 2 Anaacutelisis3 En tercer lugar y una vez establecidos esos indicadores se analizaron los

demaacutes informes de evaluacioacuten En los casos en los que apareciacutean objecionesque no encajaban en los indicadores primitivos se antildeadiacutean literalmente alsistema Estas ldquonuevasrdquo proposiciones-objeciones fueron ulteriormentereconvertidas en indicadores siguiendo lo establecido en el punto anterioresto es por consenso El nuacutemero total de indicadores encontrados ha sido de95 (cfr Figura 1)

4 Los indicadores se agruparon en apartados que responden a la loacutegica de ela-boracioacuten de los trabajos introduccioacuten metodologiacutea resultados y conclusionesA estos cuatro apartados se antildeadieron otros dos Uno en el que agrupamos todos

8

los indicadores que cuestionan globalmente el trabajo y otro reservado a cuestio-nes formales

5 Finalmente se procedioacute a identificar dentro de cada apartado ciertasregularidades entre sus numerosos indicadores De esta manera se agrupa-ron los indicadores en un limitado y manejable nuacutemero de categoriacuteas que res-pondiacutean a alguacuten criterio racional y trataban de hallar grandes liacuteneas estruc-turales de los procesos de autoriacutea y revisioacuten (cfr Figura 1) Asiacute en el primerapartado que afecta a la visioacuten general de los artiacuteculos se construyeron cuatrocategoriacuteas que tienen que ver con el formato la relevancia la legibilidad y laconsistencia En el segundo apartado de la introduccioacuten diferenciamos cuatrocategoriacuteas problemas en la precisioacuten de los objetivos en la claridad teoacuterica en ladocumentacioacuten y en la coherencia En el tercer apartado metodologiacutea se estable-cieron seis categoriacuteas identificadas como problemas con la muestra las hipoacute-tesis las variables el disentildeo los instrumentosprogramas y el procedimiento En elcuarto apartado dedicado al anaacutelisis y resultados se agruparon los indicadoresen dos categoriacuteas visibilidad de los datos y tratamiento estadiacutestico El quintoapartado es el de discusioacuten y conclusiones e incluye cinco categoriacuteas que agru-pan a los indicadores relativas a problemas en la coherencia (en la discusioacuten)por inferencias injustificadas por incompletud (no completo) en la profundidado en las consecuencias Y por uacuteltimo los problemas en los aspectos formales seclasifican en tres categoriacuteas en que los indicadores se agrupan en citas yreferencias en tiacutetulos y anexos y en redundancia y valoraciones En las tablas I aVI respectivas por apartados se incluyen los 95 indicadores precisos de lascausas de no aceptacioacuten de artiacuteculos agrupados en las categoriacuteas respectivas

Es importante subrayar que al analizar un informe de evaluacioacuten con este sis-tema lo que se computa es la presencia o ausencia de cada indicador Por tanto siuna objecioacuten se expresa reiteradamente soacutelo se contabiliza una vez Obviamenteuna vez sabido cuaacuteles son los indicadores mencionados en cada revisor es posibleestablecer el nuacutemero de menciones que recibe cada categoriacutea o cada apartado

Ofrecemos a continuacioacuten un ejemplo del procedimiento seguido En primerlugar presentamos el listado de las proposiciones de una de las revisiones que eneste caso es el siguiente

Listado de proposiciones que revelan objecionesP1 No sigue la estructura de ninguno de los tipos de artiacuteculos que admite la revistaP2 El artiacuteculo carece de indicaciones de su organizacioacutenP3 La revisioacuten no sigue las pautas habituales (distinguir entre distintos modelos o perspecti-vas compararlas entre siacute defender alguna de ellas)P4 La revisioacuten de los conceptos centrales es superficial (no se adentra en los modelos y uacutenica-mente se citan su existencia)p5 No se documenta con referencias las afirmaciones sobre autores e ideasP6 No hay conexioacuten entre la revisioacuten y las propuestas que se desarrollanp7 Se afirma haber realizado (una siacutentesis entre distintas alternativas) sin haberlas realmenteefectuadop8 No se clarifica cuaacutel es el procedimiento seguido (se mencionan los principios pero estos nose desarrollan)P9 No se clarifica coacutemo se llevoacute a cabo el procedimiento (por ejemplo el papel de cada uno delos participantes ni coacutemo los participantes adquirieron las competencias necesarias para serlo)p10 Referencias bibliograacuteficas

desajustes referencias y citas no se siguen las normas para las referencias

Es faacutecil apreciar en primer lugar que algunas de estas objeciones-propo-siciones aparecen reiteradamente y se repiten a veces con otras palabras enla misma revisioacuten (por ejemplo p8 y p9) o en otras revisiones Esta fue larazoacuten para agrupar las distintas objeciones en expresiones maacutes abstractas que

9

las originales los denominados indicadores Asiacute la proposicioacuten p8 y p9 pue-den reflejar un mismo significado que es recogido en una formulacioacuten maacutesinclusiva en este caso ldquoProcedimiento falta informacioacuten precisardquo de lamisma manera p1 da lugar al indicador ldquoGeacutenero imprecisordquo que puede ser-virnos para computar cualquier objecioacuten que aluda a que un determinadoartiacuteculo no se ajusta a los tipos de artiacuteculos aceptables para la revista Estosindicadores figuraraacuten en las distintas tablas (cfr Tablas I a VI) que acompa-ntildean el anaacutelisis de las objeciones de cada uno de los apartados y constituyenlas categoriacuteas terminales del sistema y la base de todos los coacutemputos queseraacuten realizados

Ademaacutes es evidente que los indicadores se relacionan con distintos apartadosAlgunos tienen que ver con la introduccioacuten por ejemplo p4 y p5 otros afectana la metodologiacutea (p8 y p9) y otros por poner un uacuteltimo ejemplo a las cuestionesformales (p10) Y hay ademaacutes objeciones que tienen un caraacutecter global en el sen-tido de que cuestionan el trabajo como un todo es el caso de los indicadores quese derivan de p6 o p1 Finalmente esos indicadores de cada apartado se incluyenen alguna de las categoriacuteas del mismo

De esta manera el sistema de anaacutelisis que se empleoacute para analizar las cincuen-ta revisiones de los 25 artiacuteculos (dos revisores por artiacuteculo) se sintetiza en la figu-ra 1 y se detalla en las tablas I a VI ya referidas

Tal y como puede verse en la figura 1 se han identificado seis apartados24 categoriacuteas y 95 indicadores posibles con una aparicioacuten efectiva de 783causas que sentildealan en total entre los 50 revisores La coincidencia mediaentre cada par de revisores en torno al artiacuteculo evaluado es relativamentegrande Por ejemplo la probabilidad de que los dos revisores coincidan enlos seis apartados generales es del 81 (veacutease Anexo) De manera maacutes con-creta si un revisor hace una objecioacuten correspondiente al apartado introduc-cioacuten hay una probabilidad de un 81 de que el otro revisor tambieacuten lohaga en ese mismo apartado Este grado de coincidencia disminuye comocabe esperar cuando se consideran las categoriacuteas de cada apartado Asiacute en elcaso de las correspondientes a la visioacuten general se alcanza un 66 en las cua-tro categoriacuteas de introduccioacuten se observa un 58 en las seis categoriacuteas demetodologiacutea un 69 las dos categoriacuteas de anaacutelisis y resultados un 64 lascinco categoriacuteas de discusioacuten y conclusiones un 57 y por uacuteltimo en las trescategoriacuteas de aspectos formales el 83

Es importante subrayar que el sistema permite codificar todas las ideas conte-nidas en las 50 revisiones que expresan objeciones y que tienen que ver con latarea evaluadora Es decir permiten identificar las causas de no aceptacioacuten orga-nizadas en indicadores las categoriacuteas que incluyen a los indicadores y los aparta-dos maacutes generales en donde se incluyen las categoriacuteas

Codificacioacuten de los contenidos que no contienen objeciones

Ademaacutes de las objeciones los informes contienen otras muchas ideas quetambieacuten fueron analizadas por el mismo procedimiento que el resto de los conte-nidos y agrupadas finalmente en torno a cuatro aspectos Por una parte respec-to de los marcos que utilizan los revisores para hacer el anaacutelisis de los artiacuteculosPor otra el anaacutelisis de los recursos retoacutericos que utilizan los revisores en sus infor-mes Ademaacutes analizamos la actitud de los revisores cuando emiten sus escritosY por uacuteltimo hemos hecho un estudio de las tareas adicionales a las de poner derelieve las limitaciones del trabajo

10

11FI

GU

RA

1T

area

eval

uado

ra d

e los

50

revi

sore

s (25

art

iacuteculo

s) r

azon

es de

ldquono

acep

tacioacute

n de

art

iacuteculo

srdquo (

coacutem

puto

de 7

83 in

dica

dore

s agr

upad

os en

apa

rtad

os y

suba

part

ados

-cat

egor

iacuteas)

Cau

sas

noac

epta

cioacuten

(ip9

5ai

r 7

83

100

)

Form

ato

(ip 6

ai

r 5

16

5)

Con

sist

enci

a(ip

3

air

30

4)

Vis

ioacuten

Gen

eral

(ip 1

7ai

r 14

418

)

Intr

oduc

cioacuten

(ip 1

8ai

r 2

04

26

)

Met

odol

ogiacutea

(ip 2

2ai

r 18

023

)

Mue

stra

(ip 5

ai

r 45

6

)

Dis

entildeo

(ip 2

ai

r 17

2

)

Tra

tam

ient

oes

tadiacute

stic

o(ip

3

air

28

35

)

Anaacute

lisis

yre

sult

ados

(ip 1

2ai

r 89

11

)

Vis

ibili

dad

de lo

s da

tos

(ip 9

ai

r 61

8

)

Dis

cusioacute

n y

Con

clus

ione

s(ip

19

air

146

19

)

Cons

ecue

ncias

(ip 4

ai

r 1

92

5)

Prof

undi

dad

(ip 7

ai

r 38

5

)

Infe

renc

ias

inju

stifi

cada

s(ip

3

air

43

55

)

Com

plet

ivo

(ip 2

ai

r 1

82

)

Tiacutet

ulo

y an

exos

(ip 2

ai

r 5

05

)

Cit

as y

refe

renc

ias

(ip 3

ai

r 8

1

)

Cohe

renc

ia en

la D

iscus

ioacuten

(ip 3

ai

r 2

83

5)

Asp

ecto

sfo

rmal

es(ip

7

air

20

25

)

Red

unda

ncia

yV

alor

acio

nes

(ip 2

air

7

1)

Rel

evan

cia

(ip 6

ai

r 2

94

)

Legi

bilid

ad(ip

3

air

34

4)

Coh

eren

cia

(ip 3

ai

r 4

15

)

Var

iabl

es(ip

4

air

30

4)

Doc

umen

taci

oacutenco

mpl

eta

(ip 6

ai

r 6

28

)

Cla

rida

dT

eoacuteri

ca(ip

5

air

67

85

)

Prec

isioacute

n en

los

Obj

etiv

os(ip

4

air

34

4)

Inst

rum

ento

s(ip

4

air

55

7)

Hip

oacutetes

is(ip

5

air

10

1)

Proc

edim

ient

o(ip

2

air

23

3)

Esq

uem

a co

n lo

s apa

rtad

os y

cat

egor

iacuteas d

e ca

da a

part

ado

Tra

s la

deno

min

acioacute

n de

cad

aca

tego

riacutea

agr

upad

as e

n lo

s sei

s apa

rtad

os s

e in

cluy

en e

l nuacutem

ero

tota

l de

indi

cado

res p

osi-

bles

(ip)

las

apa

rici

ones

de

indi

cado

res e

fect

ivam

ente

refe

rido

s por

los e

valu

ador

es (a

ir) y

el

porc

enta

je re

spec

to d

el to

tal a

pare

cido

s (re

dond

eado

s) (

)

ANAacuteLISIS Y COMENTARIOS

Con el propoacutesito de no distanciar la presentacioacuten de los datos (que son volu-minosos) de los comentarios que suscitan se ha procedido a la presentacioacuten con-junta combinando en un uacutenico apartado lo que en un artiacuteculo de investigacioacutenhabitual suele organizarse en dos el dedicado a la presentacioacuten de los resultadosy el correspondiente a la discusioacuten Dejaremos los comentarios maacutes globales paralas conclusiones

En todo caso seguiremos el orden ya anunciado Primero procederemos enrelacioacuten con las ldquorazones de no aceptacioacuten de artiacuteculosrdquo mdashrelevantes especial-mente para los autoresmdash para despueacutes centrarnos en el anaacutelisis de los revisores

1 Razones de la no aceptacioacuten de artiacuteculos Diaacutelogo con los autores

Tal y como se muestra en la figura 1 las objeciones se reparten de forma rela-tivamente equitativa en los distintos apartados En todo caso destaca el nuacutemerode objeciones que aluden a problemas en la introduccioacuten que es el apartado querecibe maacutes comentarios criacuteticos (el 26 del total) Tambieacuten merece la penasubrayar el nuacutemero total de objeciones realizadas exactamente 783 lo quesupone una media de casi 16 objeciones semaacutenticamente diferentes en cada revi-sioacuten con una amplitud que va desde 6 causas que un revisor apunta hasta 31causas de otros dos (cfr Tabla IX) Una cifra que consideramos elevada y queindica que las revisiones tienden a ser concienzudas Igualmente da la impresioacutende que el nuacutemero de causas que cada revisor incluye tiene mucho que ver con laforma de organizar el informe asiacute los informes que centran la evaluacioacuten entorno a los problemas nucleares suelen contener menos causas pero no por ellomenos importantes

Las objeciones seguacuten apartados son por orden de importancia tras las relati-vas a la introduccioacuten las de la metodologiacutea (23 del total) discusioacuten y conclusio-nes (19 del total) visioacuten general (18 del total) anaacutelisis y resultados (11del total) y aspectos formales (25 del total)

Razones globales

Un buen nuacutemero de objeciones exactamente el 18 del total o 144 indica-dores (cfr Tabla I) cuestionan aspectos globales del trabajo y suelen conducir ala no aceptacioacuten del mismo (cfr Figura 1) El anaacutelisis de todos los indicadoresque tienen este rasgo de globalidad lleva a diferenciar cuatro categoriacuteas de pro-blemas en el formato (65 del total) en la consistencia (4 del total) en larelevancia (4 del total) y en la legibilidad (4 del total) La mayor parte deellos se explican por siacute solos pero merece la pena detenerse en alguno de ellos

FormatoAsiacute respecto del formato cabe resaltar una objecioacuten muy comuacuten a los artiacuteculos

encuadrables en la categoriacutea informe de investigacioacuten que no se ajuste al forma-to estaacutendar esto es una introduccioacuten que plantee y justifique el problema que hade tratarse la metodologiacutea desarrollada para abordarlo los resultados alcanzadosy la discusioacuten de los mismos seguacuten el marco de interpretacioacuten expuesto en laintroduccioacuten y las hipoacutetesis derivadas del mismo Naturalmente el problema es

12

que toda esa informacioacuten puede estar en el trabajo pero distribuida de unamanera que no se ajusta a lo ldquoesperadordquo

Otra objecioacuten algo diferente es la falta de articulacioacuten global del trabajo y laconfusioacuten resultante La manifestacioacuten maacutes clara de todo ello es la presencia de unestilo enumerativo en el que se tiende a acumular mucha informacioacuten sin que seintroduzca expresamente un orden o esquema previo Una posible sugerenciapara paliar esta objecioacuten es que los autores anticipen el esquema organizativo quevan a seguir Por ejemplo ldquoEl artiacuteculo estaacute organizado de la siguiente manerardquo

13TABLA I

Tarea evaluadora de los revisores causas escritas de lsquono aceptacioacuten de artiacuteculosrsquo Indicadores que afectana la visioacuten general del artiacuteculo

P R O B L E M A S E N V IS IOacute N G E N E R A L (V G ) N R e v iso res (so b re lo s5 0re v iso res )

F O R M A T O

1 Geacutenero impreciso no se encuadra en ninguno de los tipos de artiacuteculos previstos 10 20informe de investigacioacuten intervencioacuten revisioacuten etc

2 Organizacioacuten (suma de 21 a 24) 36 7221 Organizacioacuten confusa Falta articulacioacuten del informe 23 4622 No se siguen los apartados de informe de investigacioacuten 6 1223 Necesidad de ajustar tiacutetulos de subapartados para que reflejen mejor de lo que 6 12

tratan Mejorar la estructuracioacuten y claridad24 Sobran apartados no esenciales o no relacionados con el nuacutecleo del objetivo 1 23 Falta hilo argumental mera coleccioacuten de ideas 5 10Total formato 51 65 (de 783)

R E L E V A N C IA

1 El objetivo no es relevante porque no se justifica teoacutericamente su relevancia 10 202 Resultados previsibles se aportan pocos conocimientos nuevos 4 83 Falta una perspectiva psicoloacutegica (se opta por una perspectiva linguumliacutestica o 4 8

matemaacutetica o fiacutesica) o basada en el desarrollo psicoloacutegico4 Reflexioacuten teoacuterica poco actual Enfoque teoacuterico no relevante en la actualidad 9 185 No es posible valorar el meacutetodo al no concretarse los objetivos 2 4Total relevancia 29 4 (de 783)

L E G IB IL ID A D

1 Redaccioacuten y estilo confuso tablas inexistentes poner resultados en apartados difiacutecil 3 6leer graacuteficos etc Necesidad de mejorar la comunicabilidad del informe

2 Necesidad de mayor esfuerzo de redaccioacuten y composicioacuten del artiacuteculo 17 343 Necesidad de precisioacuten terminoloacutegica 14 28Total legibilidad 34 4 (de 783)

C O N S IS T E N C IA

1 No hay conexioacuten entre lo Revisado y lo Realizado No se desarrolla el objetivo 7 142 En la Discusioacuten o en los resultados se apela a nociones y trabajos no presentados 18 36

en la Introduccioacuten En los resultados aparecen variables no informadas en lametodologiacutea En la introduccioacuten se explica el programa en vez de sufundamentacioacuten teoacuterica que debiera figurar en Metodologiacutea

3 No se justifica desde el marco teoacuterico la seleccioacuten de instrumentos o categoriacuteas que 5 10luego adoptan

Total consistencia 30 4 (de 783)

T o tale s v is ioacute n g e n e ra l (V G ) 1 4 4 1 8 (d e 7 8 3 )

Una tercera objecioacuten es que el artiacuteculo se quede a medio camino entre unarevisioacuten y un informe de investigacioacuten o que no constituya realmente una revi-sioacuten de un campo de estudio ni una reflexioacuten criacutetica sobre el mismo sino porejemplo comentarios maacutes o menos ordenados sobre un tema Pensemos en elcaso de un revisor que aduce que un determinado artiacuteculo ldquono se puede encua-drar en ninguno de los tratamientos propios de la revista ni es un informe deinvestigacioacuten ni es un informe de intervencioacuten ni es un artiacuteculo de revisioacuten pro-piamente dichordquo

RelevanciaUna segunda categoriacutea de problemas globales que conducen frecuentemente

a la no aceptacioacuten es la de no encontrar suficiente relevancia al trabajo En generallos revisores reconocen la relevancia potencial de los trabajos (esto es el problemaplanteado es visto como social o educativamente relevante) y su ajuste con laliacutenea editorial de la revista lo que quiere decir que Infancia y Aprendizaje tieneuna imagen niacutetida al menos para los autores (y los revisores) La queja tiene quever con la ausencia de relevancia teoacuterica Obviamente esto depende de que seapele a modelos solventes que justifiquen tanto la definicioacuten del problema comolas variables o los indicadores elegidos Por tanto parece que no basta con selec-cionar un contenido relevante sea por ejemplo el caso de la escritura argumen-tativa pues tambieacuten deben serlo los indicadores seleccionados y si estos no loson (valga como ejemplo que se tomen uacutenicamente indicadores del tipoldquonuacutemero de palabras utilizadasrdquo) los revisores interpretan que el trabajo no esrelevante Una cuestioacuten maacutes espinosa es el problema de la actualidad del marcoempleado otra de las razones frecuentemente aducidas para no aceptar un traba-jo Hemos de entender que el criterio de la actualidad estaacute al servicio del de larelevancia (no siempre son relevantes referencias de ldquouacuteltima horardquo y no siemprepierden actualidad las referencias histoacutericas) Es decir se entiende que la actuali-dad es un modo mdashiexclno el uacutenicomdash de conseguir dar relevancia al trabajo y no unatributo que proporciona ese valor por siacute mismo

LegibilidadAdemaacutes los problemas de legibilidad tienen que ver con una redaccioacuten des-

cuidada con confusiones en la terminologiacutea utilizada (uso de varias expresionespara un mismo concepto por ejemplo) o con un tratamiento de tablas y figurasconfuso

ConsistenciaPor uacuteltimo un grupo de problemas se relacionan con la falta de consistencia

entre las distintas partes del trabajo En este caso el trabajo puede adoptar el for-mato estaacutendar pero los revisores hacen ver que se aprecia una desconexioacuten entreel marco teoacuterico y las tareas desarrolladas o como parece maacutes comuacuten (un 32 -cfr Tabla I) entre los sistemas de interpretacioacuten que se emplean en la discusioacuteny los presentados en la introduccioacuten La labor de los revisores es en este caso espe-cialmente relevante para hacer ver a los autores esa falta de continuidad quepuede pasar desapercibida a estos uacuteltimos Hay que entender al respecto que enel apartado de la Discusioacuten los autores pueden centrarse en encontrar un sentidoa los resultados lo que les puede llevar a nuevas conexiones que por ser las uacutelti-mas pueden ser la maacutes valoradas pero quizaacutes con el riesgo de que puedan per-

14

der su relacioacuten con lo planteado inicialmente Por supuesto se sobreentiendeque la discusioacuten puede invocar cuestiones no previstas en la introduccioacuten peroesto debe tener una dimensioacuten limitada y cuando se haga conviene advertirloexpresamente Menos justificado es que no aparezca una conexioacuten clara entre lascategoriacuteas de anaacutelisis empleados las tareas afrontadas o los procedimientos desa-rrollados y el marco teoacuterico una cuestioacuten que a juicio de los revisores ocurre conalguna frecuencia

Maacutes notorio es el caso de los trabajos en los que apenas si se constata un hiloentre las teoriacuteas y evidencias que se revisan y las investigaciones que se realizanAquiacute puede ocurrir que los autores den la impresioacuten de que invocan un marcoteoacuterico muy general que inspira pero no dirige el trabajo En todo caso resultamuy evidente que en las revisiones analizadas de Infancia y Aprendizaje se esperaque haya una adecuada documentacioacuten de los precedentes teoacutericos y empiacutericosdel trabajo que justifique los pasos dados para definir el problema y para acome-terlo (veacutease maacutes adelante lo referido a Objetivos)

En resumen las razones globales afectan tanto a la forma (legibilidad formato)como al fondo (consistencia y relevancia) Los problemas de consistencia y formasuelen dar lugar a rechazar uacutenicamente la versioacuten actual del trabajo en la esperade que las mejoras solicitadas permitan valorarlo contando con evidencias maacutesfirmes mientras que la ausencia de relevancia teoacuterica suele dar lugar a no acepta-cioacuten definitiva Esto quizaacutes ayude a los autores a conocer las categoriacuteas valora-tivas que guiacutean a los revisores de la revista

En cualquier caso es importante resentildear que los revisores se ven en la necesi-dad de asumir una decisioacuten que en muchos casos es realmente muy difiacutecil sabercuaacutendo en un artiacuteculo no ldquoestaacute todo lo que debe estarrdquo pero se vislumbre ldquoenpotenciardquo lo que se echa de menos y cuaacutendo por el contrario no parecen existiresos elementos y reclamarlos en los informes llevariacutea a una prolongacioacuten agoacutenicadel proceso Es imposible garantizar que ese juicio sea siempre correcto pero almenos podriacutea considerarse una virtud el hacer maacutes transparente la racionalidadque guiacutea la elaboracioacuten del informe

Razones ligadas al Apartado Introduccioacuten

Respecto de la Introduccioacuten hay un buen nuacutemero de objeciones (204 lo queconstituye un 26 del total) Se han agrupado estas objeciones en algunas cate-goriacuteas especiacuteficas (cfr Tabla II) Como en el caso anterior nos limitaremos a glo-sar las maacutes relevantes una vez hemos dejado expuesto el porcentaje de mencionesde cada uno de los indicadores

ObjetivosEn primer lugar los revisores se quejan de un conjunto de problemas que tienen

que ver con la precisioacuten del objetivo que se persigue En muchos casos ese objetivosoacutelo se llega a percibir con nitidez al finalizar la lectura del artiacuteculo En otros casoshay una formulacioacuten del objetivo por acumulacioacuten esto es se presenta un conjuntoamplio de posibles objetivos sin que se pueda llegar a apreciar cuaacutel es la diferenciaentre ellos ni por tanto lo que realmente se persigue Por supuesto el objetivopuede estar en el texto pero no tan visible como seriacutea necesario Quizaacutes los autoresdesean subrayar todas las implicaciones del trabajo lo que les lleva a una introduc-cioacuten excesivamente amplia e imprecisa Una buena idea es que los autores se haganesta pregunta que se recomienda en el manual de la APA (1994) iquestcoacutemo hacer verdesde el principio al lector lo que se quiere resolver en el trabajo Probablemente

15

el acierto de muchos artiacuteculos reside en que consiguen hacer visible lo que persi-guen apenas se ha avanzado unos pocos paacuterrafos Por supuesto ese objetivo especiacute-fico soacutelo encuentra su sentido en un marco maacutes general pero el objetivo del artiacutecu-lo no puede ser resolver valga el ejemplo el problema de la didaacutectica de las mate-maacuteticas sino entender la incidencia de una determinada variable educativa en laadquisicioacuten de un determinado concepto Otra ilustracioacuten podriacutea ser plantear elproblema global de la relacioacuten entre clima social y familiar y la adaptacioacuten personaly social cuando el estudio se centra de hecho en cuestiones especiacuteficas de la resolu-cioacuten de conflictos familiares en la etapa de la adolescencia Seriacutea de esto uacuteltimo silos ejemplos valen de lo que habriacutea que hablar cuanto antes

16TABLA II

Tarea evaluadora de los revisores causas escritas de lsquono aceptacioacuten de artiacuteculosrsquo Indicadores que afectana la introduccioacuten del artiacuteculo

P R O B L E M A S E N IN T R O D U C C IOacute N (I ) E n fo q u e y p lan tea m ien to N R ev iso re s (so b re lo s 5 0re v iso res )

P R E C IS IOacute N E N L O S O B JE T IV O S

1 No se define cuaacutel es el problema especiacutefico que se persigue ndashProblema inespeciacutefico 12 242 Objetivo inespeciacutefico (suma de 21 a 23) 22 4421 No se define cuaacutel es el objetivo especiacutefico que se persigue 17 3422 Objetivo no enunciado 1 123 Falta explicitar el propoacutesito antes de la revisioacuten 4 8Total objetivos 34 4 (de 783)

C L A R ID A D T E Oacute R IC A

1 No se desarrollan en profundidad los conceptos clave 21 422 Marco teoacuterico confuso Poca elaboracioacuten del marco teoacuterico 16 323 No se ilustran los modelos con aplicaciones concretas 2 44 No se selecciona adecuadamente la informacioacuten revisada Se habla de lo que no se 25 50

debe y no se habla de lo que se debe 5 Se abordan demasiados temas 3 6Total claridad teoacuterica 67 85 (de 783)

C O H E R E N C IA

1 Los autores no exponen cuaacutel es el punto de vista adoptado El trabajo carece de un 17 34marco teoacuterico preciso No se revisan los argumentos en contra

2 Falta justificar enfoque y lo que se espera de eacutel 7 143 No se organiza la introduccioacuten (seguacuten perspectivas modelos poleacutemicas) estilo 17 34

enumerativo telegraacuteficoTotal coherencia 41 5 (de 783)

D O C U M E N T A C IOacute N C O M P L E T A

1 Revisioacuten y referencias (suma 11 y 12) 35 7011 No se revisan los trabajos especiacuteficamente vinculados con el objetivo especiacutefico 31 62

pero siacute los de caraacutecter general 1 2 Referencias inapropiadas Referencias excesivamente generales 4 82 Diferenciar las ideas originales de la exposicioacuten de las ideas de otros 1 23 No se documentan con referencias las afirmaciones sostenidas en el trabajo 14 284 Referencias muy poco actuales Faltan referencias claves 10 205 No se justifica la ausencia de precedentes 2 4Total documentacioacuten 62 8 (de 783)

T o ta l in tro d u c cioacute n (I ) 2 0 4 2 6 (d e 7 8 3 )

En ese mismo sentido un ampliacutesimo nuacutemero de revisores sentildealan que no seconsideran los precedentes inmediatos de lo que se quiere hacer y que de estamanera resulta muy difiacutecil comparar los resultados obtenidos o la metodologiacuteaempleada con otros estudios Una consecuencia de esta reflexioacuten es que el encon-trar un objetivo especiacutefico puede conseguirse remitieacutendose a los precedentes quede forma maacutes concreta se relacionan con el trabajo La ausencia de los mismossalvo que se advierta y que se justifique adecuadamente su probable inexistenciaes interpretado como una sentildeal de inmadurez

Por ejemplo los revisores advierten de que los autores de un trabajo en el que seproponen valga como ejemplo estudiar el papel de la conciencia fonoloacutegica en lalectura de nintildeos con siacutendrome de Down emprenden una revisioacuten general delcampo de estudio (por ejemplo la lectura) sin hacer una revisioacuten de los trabajos quehan abordado el mismo problema especiacutefico que se intenta acometer en el trabajo(la conciencia fonoloacutegica en nintildeos con siacutendrome de Down) Consecuentemente sequejan los revisores los datos no pueden compararse con los de ninguacuten otro estu-dio y es difiacutecil valorar el intereacutes o relevancia del trabajo (lo que nos remite al pro-blema de relevancia tratado en el apartado anterior)

Parece absurdo exigir a los autores que citen siempre los haya o no preceden-tes inmediatos pero parece ser uacutetil al lector aclarar cuaacutendo no los hay y subrayarla necesidad de correr el riesgo (relativo por supuesto) que supone la ausencia deprecedentes

Claridad teoacutericaEste primer grupo de objeciones suele llevar acompantildeadas otras ligadas a la

falta de claridad Los indicadores de esta categoriacutea se explican por siacute mismos perode entre ellos destaca uno que no seriacutea muy difiacutecil de resolver la introduccioacutenconsidera muchas cuestiones sin detenerse con el suficiente detalle en los concep-tos que articulariacutean el trabajo Consecuencia falta de claridad en el marco teoacutericoAlgunos evaluadores hablan por ejemplo de una revisioacuten tipo Manual cuando loque se necesita es una revisioacuten que tome en consideracioacuten el eje creado por un pro-blema especiacutefico que se quiere resolver y que lleva a ciertas hipoacutetesis (si el trabajolas requiere) u objetivos especiacuteficos que guiacutean el trabajo Una ilustracioacuten de estouacuteltimo es el alto grado de coincidencia en cada evaluador entre las categoriacuteas deobjetivos y de claridad teoacuterica un 56

Un tercer problema que despierta la atencioacuten de los revisores es que no sedesarrollen con suficiente profundidad y claridad los conceptos claves Se hablade ellos dice alguacuten revisor pero sin desarrollarlos En parte esto es consecuenciade no partir de un objetivo preciso Otros revisores se quejan de que se habla dedemasiadas cosas y urgen a los autores a seleccionar las que sean relevantes res-pecto del objetivo especiacutefico que se persiga

Coherencia en la introduccioacutenUn tercer tipo de problemas tiene maacutes bien que ver con la articulacioacuten o coheren-

cia de lo que se dice En este caso los revisores suelen apuntar que no hay un esque-ma claro de la revisioacuten Entre otros revisar los distintos enfoques ordenar en eltiempo las distintas propuestas partir de un cierto nuacutemero de dimensiones paraidentificar los puntos de continuidad o discontinuidad entre las distintas alternati-vas Algo asiacute como ldquohay tres grandes cuestiones que han suscitado discusiones enlos uacuteltimos antildeos a b c Por lo que se refiere a a Por lo que se refiere a b ldquo

17

Ademaacutes se espera que los autores se pronuncien respecto del marco que se vaa utilizar o al menos sobre el modo como se va a utilizar el marco revisado

Documentacioacuten completaFinalmente y aunque es a todas luces una cuestioacuten menor los evaluadores de

Infancia y Aprendizaje suelen esperar que los autores documenten sus afirmacionesapelando a las fuentes adecuadas De esta manera no suele aceptarse que se atri-buya una idea a un autor y no se advierta la fuente

Es interesante destacar que la mayor parte de las objeciones consignadas eneste apartado tienden a ser resolubles salvo de nuevo las maacutes ligadas a la relevan-cia teoacuterica (esto es la precisioacuten de los objetivos) De esta manera y dada la fre-cuencia de menciones a lo considerado en este apartado seriacutea de sumo intereacutes quelos autores leyeran lo expuesto en este apartado Muy probablemente como con-clusioacuten podriacuteamos centrar la atencioacuten en estas tres cuestiones

1) la introduccioacuten debe centrarse en clarificar a los lectores el problema que seva a intentar resolver (es lo que muchas veces aparece con maacutes claridad en la dis-cusioacuten pues ldquoel problemardquo es justamente lo que los autores necesitan clarificaren ese apartado final) Pero claro en muchas ocasiones los autores han de con-cluir el artiacuteculo para saberlo de ahiacute que escribir sea reescribir

2) los autores deben contextualizar ese problema clarificando especialmentelos conceptos de los que depende la comprensioacuten y el sentido de ese problema elresto de las cuestiones por interesantes que puedan resultar podriacutean quedar enun segundo plano

3) esa exploracioacuten de los conceptos clave puede verse facilitada si se hace unarevisioacuten ordenada de los marcos o perspectivas empleadas

Por supuesto en mayor o menor grado todos los autores podriacutean mejorar laintroduccioacuten a sus artiacuteculos (de hecho hay obras magniacuteficas que ilustran de formaprecisa coacutemo hacerlo cfr por ejemplo Sorenson 1997) Ahora bien iquestcoacutemorenunciar a exponer cuestiones que en siacute mismas son tan importantes iquestcoacutemosaber cuaacutel es el punto justo de clarificacioacuten que se necesita La respuesta quizaacutes lapueda encontrar mejor el otro que uno mismo Y es justamente por ello por lo quela evaluacioacuten es tan necesaria puesto que juega un papel regulador que cuando elque escribe va asumiendo esta funcioacuten se transforma en autorreguladora (cfr paraesta cuestioacuten por ejemplo Graham y Harris 2000 a y b) Una recomendacioacuten muyevidente a la luz de lo expuesto es reservar siempre un tiempo suficiente para remi-tir el original a otros colaboradores y colegas antes de darlo por terminado

Razones del apartado Metodologiacutea

Un tercer grupo de objeciones tiene que ver como ya vimos en su momentocon la metodologiacutea (180 indicadores o el 23 de todas las causas de no aceptacioacutende artiacuteculos mdashcfr Tabla IIImdash) En este caso las objeciones son igualmente pre-visibles y en alguacuten caso como las ligadas a los problemas de disentildeo muy difiacutecil-mente comentables en el limitado espacio de estas paacuteginas

MuestraLos problemas ligados a la muestra son de tres tipos El maacutes comuacuten es que no

se ofrecen todos los datos que seriacutean necesarios los autores no informan con sufi-

18

19TABLA III

Tarea evaluadora de los revisores causas escritas de lsquono aceptacioacuten de artiacuteculosrsquo Indicadores que afectana la metodologiacutea del artiacuteculo

P R O B L E M A S E N M E T O D O L O G IacuteA (M ) N R e v iso res (so b re lo s 5 0rev iso re s )

M U E S T R A

1 No se definen apropiadamente las caracteriacutesticas de las muestras (suma de 11 y 12) 27 5411 Participantes-Criterios de configuracioacuten de las muestras poco claros 16 3212 Participantes-Se desconocen datos importantes o relevantes de las muestras (curso 11 22

x conglomerados etc)2 La muestra no es apropiada para obtener los datos relativos a los objetivos del 15 30

trabajo [Participantes-Errores en la configuracioacuten Falta una muestraesencial (ej de zurdos)]

3 Tamantildeo apropiado para los anaacutelisis de datos (potencia anaacutelisis factorial etc) 0 04 Representatividad de la muestra (procedimiento apropiado de muestreo 15 30

caracteriacutesticas de la muestra que avalan la representatividad etc) Norepresentatividad de la muestra

Total muestra 45 6 (de 783)

H IP Oacute T E S IS

1 No reflejan los problemas derivados de la revisioacuten teoacuterica No estaacuten bien articuladas con la introduccioacuten y por tanto noestaacuten adecuadamente justificadas 1 22 No estaacuten bien definidas operacionalmente de forma que es difiacutecil su contrastacioacuten Se plantean como preguntas abiertassin que se vislumbre el compromiso de ponerlas a prueba 0 03 Los objetivos de un trabajo no se circunscriben necesariamente a la contrastacioacuten d 9 18

hipoacutetesis La finalidad puede ser la mera descripcioacuten de un fenoacutemeno no lapuesta a prueba de unos supuestos (suma de 31 y 32)

31 No aparecen con suficiente claridad No aparecen (cuando debieran aparece 9 18porque no es una mera descripcioacuten)

32 Las hipoacutetesis se adivinan en la discusioacuten 0 04 Un criterio importante ha de ser la relevancia teoacuterica praacutectica o social de los

objetivos yo hipoacutetesis (falta) 0 0Total hipoacutetesis 10 1 (de 783)

V A R IA B L E S

1 No estaacuten bien definidas operacionalmente 16 322 Su nuacutemero es excesivo No se presentan de forma ordenada 4 83 Carecen de relevancia teoacuterica No se justifican psicoloacutegicamente 10 204 No son adecuadas para contrastar las hipoacutetesis 0 0Total variables 30 4 (de 783)

D IS E Ntilde O

1 No aparece clara la modalidad metodoloacutegica del trabajo (experimental selectiva 6 12observacional) Las limitaciones nucleares del artiacuteculo tienen que ver con eldisentildeo metodoloacutegico

2 El disentildeo no es apropiado Validez Ausencia de grupo de control Orden de 11 22aplicacioacuten de instrumentos inadecuado o no controlado No medidas previasDisentildeo no especificado

Total disentildeo 17 2 (de 783)

IN S T R U M E N T O S

1 Los instrumentos (materiales o programas) seleccionados no se describen con rigor 41 82(suma de 11 y 12)

ciente claridad de los criterios de las caracteriacutesticas (procedencia sexo edad ori-gen) lo que lleva a los revisores a hacer sugerencias frecuentes de clarificacioacutenEn segundo lugar que la muestra es insuficiente para alcanzar los objetivos Yen tercer lugar que hay problemas en la configuracioacuten (coacutemo se ha seleccionadocoacutemo se han asignado a grupos etc)

HipoacutetesisDe igual manera las hipoacutetesis pueden no ser expuestas con suficiente detalle

Maacutes relevante es que esteacuten desconectadas con el marco teoacuterico de la introduccioacuten(un ejemplo maacutes de falta de consistencia comentada en el primer apartado) Enese sentido los revisores suelen recomendar que los autores revisen la introduc-cioacuten atendiendo a la naturaleza de las hipoacutetesis Es justamente esa relacioacuten queen ellas se precisa lo que debe ser justificado clarificado conceptualmente y revi-sado en la introduccioacuten Lo cierto es que en ocasiones el lector puede apreciarcuaacutel es la hipoacutetesis cuando el autor se adentra en interpretar que los datos no cua-dran con ellas

VariablesCualquier investigacioacuten requiere una definicioacuten operativa y precisa de las

variables seleccionando el nuacutemero adecuado a los objetivos del estudio que pre-senten relevancia teoacuterica o que sean adecuadas para contrastar las hipoacutetesis Losrevisores refieren (32) casos en los que no estaacuten bien definidas o que carecen derelevancia teoacuterica (20)

DisentildeoSon varias las causas de modificacioacuten o no aceptacioacuten de artiacuteculos que identi-

fican los revisores en relacioacuten con el disentildeo metodoloacutegico desde la no aparicioacuten clarade la modalidad metodoloacutegica del trabajo (12) a no ser apropiados (22) Laplanificacioacuten previa de cualquier investigacioacuten obliga a definir el disentildeo maacutes

2011 Instrumentos y materiales y programas Indicadores de las variables mal definidos 15 30

Diferenciar medidas maacutes sensibles Desequilibrio entre la evaluacioacuten y locodificado y utilizado en la investigacioacuten

12 Instrumentos y materiales y programas No se describen con claridad las tareas yo 26 52instrumentos No se hace una descripcioacuten concreta de un programa No se describen con claridad las categoriacuteas utilizadas

2 Los instrumentos (materiales o programas) no son los maacutes apropiados (insuficiente 14 28validez y fiabilidad adaptacioacuten inadecuada a la poblacioacuten de intereacutes) (suma de 21 y 22)

21 Faltan medidas relevantes o importantes para el estudio Sesgos en cuanto 7 14seleccioacuten de tareas (insuficientes)

22 Los instrumentos son poco adecuados seguacuten la definicioacuten de las variables 7 14Total instrumentos 55 7 (de 783)

P R O C E D IM IE N T O

1 No se describe con precisioacuten Falta informacioacuten precisa (participantes contextos 22 44roles instruccionales horas de evaluacioacuten)

2 No es adecuado (sensible a variables extrantildeas) Tratamiento experimental 1 2intervencioacuten muy reducido (excesivamente breve o muy limitado)

Total procedimiento 23 3 (de 783)

T o tal m eto d o lo g iacutea (M ) 1 8 0 2 3 (d e 7 8 3 )