lunes, 3 de marzo de 2008

Desde los tests hasta la investigación evaluativa actual.

MAESTRÍA EN COMUNICACIÓN Y TECNOLOGÍAS EDUCATIVAS

RESEÑA DE LA LECTURA
“Desde los tests hasta la investigación evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en educación” de Tomás Escudero Escorza.





Alumno Cecte: José Francisco García Martínez.
TUTORA: Dra, Patricia Mónica García Jiménez.
Módulo de Investigación. Grupo 03.
SEDE: C.A.M. Oaxaca.
La reseña es uno de los géneros literarios que busca compendiar de manera crítica el texto de una obra.
En esta ocasión, como una de las actividades evaluativas del CECTE, para los estudiantes de la Maestría en Comunicación y Tecnologías Educativas, se ha encomendado hacer una reseña de la lectura “Desde los tests hasta la investigación educativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en la educación”, del Maestro Español Tomás Escudero Escorza.
Para iniciar este cometido, debo mencionar que el Maestro Escudero es Catedrático del área de Métodos de Investigación y Diagnóstico en Educación de la Universidad de Zaragoza. Es también miembro de la Comisión de Coordinación Técnica del Plan de Calidad de las Universidades y tiene publicados 33 artículos en revistas, 16 colaboraciones en obras colectivas, 5 libros en autoría única y ha coordinado 2 publicaciones, todos ellos sobre los temas de la evaluación educativa y particularmente sobre evaluación institucional. Su correo electrónico esta registrado así: Tomás Escudero Escorza (tescuder@posta.unizar.es).
En relación a su obra objeto de esta reseña, la ficha del artículo menciona que fue recibido el 10 de Enero de 2003 y publicado el 27 de Febrero de ese mismo año en el Volumen 9 Número 1, de la REvista ELectrónica de Investigación y EValuación Educativa (RELIEVE) que es una Revista patrocinada por la Universidad de Zaragoza, España, con una página general (2), en idioma Español; pero al igual que otras obras importantes, también se encuentra en la página electrónica de la revista electrónica Dialnet. (3)
Al revisar someramente las diversas obras en las que el Maestro Escudero ha participado o colaborado, se percibe la magnitud de su conocimiento acerca de la evaluación educativa, pues en varios de ellas, menciona conceptos precisos y claros acerca de este campo, citando además ejemplos y referencias que ubican específicamente su trabajo académico como en “Claves identificativas de la investigación evaluativa: Análisis desde la práctica” (2005-2006) (4) y “La formación pedagógica del profesorado universitario vista desde la enseñanza disciplinar”. (2003) (5).
En relación al contenido del texto a reseñar, es importante citar su propio resumen que lo define brevemente de la siguiente manera: “Este artículo presenta una revisión crítica del desarrollo histórico que ha tenido el ámbito de la evaluación educativa durante todo el siglo XX. Se analizan los principales propuestas teóricas planteadas” (p.1).
Con ello, prepara al lector para conocer una abundante descripción de los diferentes esquemas evaluativos a través de la historia y diferentes países. Hace una recopilación bastante exhaustiva acerca de los modelos o “enfoques modélicos” como los define el propio Escudero.
Inicia fundamentando su estudio en los tres planteamientos siguientes.
1º. El que marca como más utilizado y ofrecido por Madaus (1991), Scriven ( ) , Stufflebeam y otros autores (1987), que establece seis épocas:
a) Época de la reforma (1800-1900),
b) Época de la eficiencia y del “testing” (1900-1930)
c) Época de Tyler (1930-1945),
d) Época de la inocencia (1946-1956),
e) Época de la expansión (1957-1972), y
f) Época de la profesionalización (desde 1973).
2º. Establecido por Cabrera (1986) y Salvador (1992), citan tres grandes épocas, tomando como figura central a Tyler.
a) Antecedentes.
b) Nacimiento (época de Tyler),
c) Desarrollo.
3º. Destacado por Guba y Lincoln (1989) que divide las etapas en generaciones:
a) La primera, es la de la medición,
b) La segunda es la de la descripción,
c) La tercera es la del juicio o valoración.
En el capítulo I, que Escudero denomina “Precedentes: Antes de los “test” y de la medición” (p.12), hace un amplio recorrido por la historia de la educación y la evaluación a través de exámenes, desde la China Imperial de hace más de tres mil años hasta las Escuelas de Boston de 1845, cuando se empiezan a utilizar los primeros “tests” escritos.
Cita al trabajo de J: M: Rice (1897) como la primera investigación evaluativa en educación (citado por Mateo y otros, 1993) (p. 13).
De ahí, hace una amplia descripción de los tests psicométricos, en el capítulo 2 que cita con ese nombre. Marca que ese florecimiento de las pruebas estandarizadas (test) estuvo inducido por “el florecimiento de las corrientes filosóficas positivistas y empíricas, que apoyaban la observación, la experimentación, los datos y los hechos como fuentes del conocimiento verdadero” (p. 13) pero también por las teorías evolucionistas de Darwin, Galton y Cattel, el desarrollo de los métodos estadísticos y la sociedad industrial.
Este período que abarca desde finales del siglo XIX hasta principios del XX define a la actividad del “testing” con características como: “medición y evaluación resultaban términos intercambiables…el objetivo era detectar y establecer diferencias individuales…olvidándose en gran medida (de) la representatividad y congruencia con los objetivos educativos…” (p.13)
De entre ellos, destaca las escalas de escritura de Ayres y Freeman, de redacción de Hillegas, de ortografía de Buckingan, de cálculo de Wood y McCall, de las capacidades cognitivas de Alfred Binet, el psicométrico de Stanford-Binet, y la prueba Otis de Inteligencia (Alfa y Beta) de Arthur Otis.
Cita que Guba y Lincoln se refieren a ésta como la primera generación.
En el capítulo 3, menciona el surgimiento de Ralph W. Tyler, quien es considerado el padre de la evaluación educativa por sus aportaciones a la misma a través de su obra “Eight-Year Study of Secondary Education para la Progresive Education Association…(Smith y Tyler, 1942), (donde) plantea la necesidad de una evaluación científica que sirva para perfeccionar la calidad de la educación” (p.14). Delimita que la evaluación debe hacerse a partir de cuatro preguntas básicas ligadas al curriculum y precisa las condiciones para una buena evaluación “Esta evaluación ya no es una simple medición, porque supone un juicio de valor sobre la información recogida” (p. 15).
Cita que:
“Tras la segunda guerra mundial, se produce un período de expansión y optimismo…Se trata de la etapa conocida como de la inocencia (Madaus y otros, 1991)…se producen cantidad de tests estándarizados, se avanza en la tecnología de la medición y en los principios estadísticos del diseño experimental (Gulliksen, 1950; Lindquist, 1953; Walberg y haertel, 1990) y aparecen las famosas taxonomías de los objetivos educativos (Bloom y otros, 1956; Krathwohl y otros, 1964)…se escribe mucho de evaluación, pero con escasa influencia en el perfeccionamiento de la labor intruccional.” (p. 15)
Menciona también que en una entrevista que se le hiciera por parte de Pamela Perfumo, en Abril de 1993, poco antes de morir Tyler afirmó que la evaluación debe estar caracterizad a por un análisis cuidadoso de sus propósitos, y que éstos deben ayudar a los alumnos en su aprendizaje, deberá ser idiosincrásica, considerar al portafolios como un valioso instrumento de evaluación y los profesores deberán rendir cuentas de su quehacer educativo ante los padres y los alumnos.
Refiere que debido a la crisis institucional del sistema educativo de Estados Unidos, se dio una proliferación de programas sociales que posteriormente fueron sujetos de evaluación y al realizarla mostró enormes deficiencias que provocaron el desencanto del Gobierno Federal, originando que los grandes distritos escolares se dividieran en áreas geográficas más pequeñas para su mejor control.
De ello, refiere, surgió el análisis de Cronbach (1963) en su artículo”Course improvement trought evaluation”, que caracteriza a la evaluación de la siguiente manera:
a) Asociar el concepto de evaluación a la toma de decisiones,
b) La evaluación que se usa para mejorar un programa mientras se está aplicando (evaluación formativa),
c) Poner en cuestión la necesidad de que los estudios evaluativos sean de tipo comparativo,
d) Se duda de los estudios a gran escala “pues las diferencias pues las diferencias en los tratamientos pueden ser muy grandes e impedir discernir con claridad las causas de los resultados.
e) Propone incluir: 1) estudios de proceso, 2) medidas de rendimiento y actitudes y 3) estudios de seguimientos,
f) Las técnicas de evaluación no pueden limitarse a los tests de rendimiento.
Continúa abundando sobre los aporte de diferentes especialistas como Scriven, Guba y Lincoln
El capítulo 5, lo dedica a la consolidación de la investigación evaluativa, caracterizada por la creación de modelos evaluativos cuantitativos y cualitativos pero que Escudero los considera más ricos en matices. Observa que muchos de esos modelos no se contraponen sino más bien se complementan (Lewy, 1976; Popham, 1980; Cronbach, 1982; Anderson y Ball, 1983; De la Orden, 1985), por eso los considera más que modelos, como modélicos, pues refiere que “cada evaluador…termina construyendo su propio modelo en cada investigación educativa”. (p. 21)
En este movimiento considera dos épocas: la primera caracterizada por la priorización de los objetivos propuestos como criterio fundamental para la evaluación y la segunda época representada por los modelos alternativos, donde se "enfatiza el papel de la audiencia de la evaluación y de la relación del evaluador con ella”(p. 21).
En el sexto capítulo enuncia a la cuarta Generación según Guba y Lincoln, también denominada “respondente y constructivista” (p. 24) donde justifica el cambio paradigmático de la siguiente forma:
a) La metodología convencional no contempla la necesidad de identificar las demandas, preocupaciones y asuntos de los implicados.
b) Para llevar a cabo lo anterior se necesita una postura de descubrimiento más que de verificación, típica del positivismo.
c) No se tienen en cuenta suficientemente los factores contextuales.
d) No se proporcionan medios para valoraciones caso por caso.
e) La supuesta neutralidad de la metodología convencional es de dudosa utilidad cuando se buscan juicios de valor acerca de un objeto social. (Escudero, p. 24)
También define las responsabilidades básicas del evaluador y habla de los 12 pasos de la evaluación (p.25). Asimismo, define los criterios paralelos a los criterios de confianza, y que son la “validez interna y externa, fiabilidad y objetividad” (de acuerdo al paradigma fundamentador, Morgan, 1983) y en el caso de la cuarta generación los define como “credibilidad, transferencia, dependencia y confirmación” (Lincoln y Guba, 1986), para quienes más adelante, asienta, no fueron suficientes y ya dentro de la base cosntructivista, los define como: a) imparcialidad, justicia, b) autenticidad ontológica, c) autenticidad educativa, d) autenticidad catalítica y e) autenticidad táctica (Lincoln y Guba, 1986) (p. 26).
En el penúltimo capítulo, recoge las más recientes posiciones de los especialistas acerca de los modelos evaluativos. Parte de “los cuatro principios del Joint Committee” (1981 y 1988), con la idea de que “cualquier buen trabajo de investigación evaluativa debe ser: a) útil,…b) factible,…c) apropiada, adecuada, legítima…y d) segura y precisa…”(p. 27)
Algo muy importante que asienta Escudero en este capítulo es lo referente a algunos criterios básicos a tomar en cuenta al momento de decidir una evaluación y son: las necesidades educativas, la equidad, la factibilidad y la excelencia.
Suma a ello, 15 recomendaciones, que son muy importantes de tomar en cuenta al momento de diseñar, aplicar y analizar una evaluación pero que por lo extenso de las mismas, es mejor leer en el documento original.
Termina en su capítulo 8 haciendo un recuento de los enfoques modélicos y metodológicos de la evaluación y la última perspectiva de Scriven, donde algo importante para destacar, es cuando sugiere algunas cuestiones importantes a considerar en cualquier esquema de evaluación y estas son:

1) Objeto de la investigación evaluativa.
2) Propósito, objetivos.
3) Audiencias/implicados/clientela.
4) Énfasis/aspectos prioritarios o preferentes.
5) Criterios de mérito o valor.
6) Información a recoger.
7) Métodos de recogida de información.
8) Métodos de análisis.
9) Agentes del proceso.
10) Secuenciación del proceso.
11) Informes/utilización de resultados.
12) Límites de la evaluación.
13) Evaluación de la propia investigación evaluativa / metaevaluación.
(Escudero. P. 31).
Termina mostrando cuatro tablas donde ubica a los diferentes enfoques modélicos revisados en la lectura. Hace una referencia final a Scriven, cuando cita que este autor identifica “seis visiones o enfoques alternativos en la fase explosiva de los modelos” y que los define como
Ø La visión fuerte hacia la toma de decisiones (visión A)…las decisiones acerca de un programa deben basarse en el grado de coincidencia entre los objetivos y los resultados…
Ø La visión débil hacia la toma de decisiones (visión B)…concibe al evaluador proporcionando información relevante para la toma de decisiones, pero no le obliga a emitir conclusiones evaluativas o críticas a los objetivos de los programas.
Ø La visión relativista (visión C)… mantiene la distancia de las conclusiones evaluativas, pero usando el marco de valores de los clientes, sin un juicio por parte del evaluador acerca de esos valores o alguna referencia a otros.
Ø La visión de la descripción fértil, rica, completa (Visión D)…la evaluación como una tarea etnográfica o periodística, en la que el evaluador informa de lo que ve sin intentar emitir afirmaciones valorativas o inferir conclusiones evaluativas, ni siquiera en el marco de los valores del cliente como en la visión relativista.
Ø La visión del proceso social (Visión E) resta importancia a la orientación sumativa de la evaluación (decisiones externas sobre los programas y rendición de cuentas), enfatizando la comprensión, la planificación y la mejora de los programas sociales a los que sirve.
Ø La visión constructivista de la cuarta gene-ración (Visión F) es la última de estas seis visiones que describe Scriven (1994), siendo mantenida por Guba y Lincoln (1989) y seguida por muchos evaluadores americanos y británicos. Ya hemos visto anteriormente que esta visión rechaza una evaluación orientada a la búsqueda de calidad, mérito, valor, etc., y favorece la idea de que ello es el resultado de la construcción por individuos y la negociación de grupos. (Escudero, pp 33-35).
En sus últimas consideraciones, hace referencia a que la evaluación tiene una perspectiva transdisciplinar debido a dos componentes: “el conjunto de campos de aplicación de la evaluación y el contenido de la propia disciplina” y agrega “En definitiva, la investigación evaluativa es una disciplina que incluye sus propios contenidos y los de otras muchas disciplinas; su preocupación por el análisis y mejora se extiende a muchas disciplinas, es transdisciplinar.”
Defiende la transdisciplinariedad´de la evaluación a partir de las visiones objetivista (“que el evaluador determine el mérito o el valor del programa, del personal o de los productos investigados”) generalizada (que incluye la generalización de conceptos en el ámbito del conocimiento y la práctica) y técnica (La evaluación no sólo necesita el apoyo técnico de otras muchas disciplinas, sino que, además, tiene su propia metodología) (pp.35-37).
Sin duda, el texto “Desde los tests hasta la investigación educativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en la educación”, del Maestro Español Tomás Escudero Escorza, es una amplia exposición de las diferentes corrientes evaluativas que no sólo tiene valor histórico por el recuento que hace de las etapas de la evaluación sino además agrega el merito de analizar las influencias y cambios que fueron generando en el proceso mundial. Todo esto se acrecienta con las citas de autores y fecha que da credibilidad y valor científico a su trabajo ya de por sí exhaustivo.
El recuento final que hace agrupando los diferentes modelos o enfoques modélicos como dice el maestro Escudero, lo hace bastante comprensible y muy acertado.
Un buen trabajo, bastante amplio y con gran valor académico.










BIBLIOGRAFIA.
(1) Escudero, Tomás (2003). Desde los tests hasta la investigación evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en educación. Publicado el 27 de Febrero de 2003, consultado el 27 de Febrero de 2008, en la pagina Revista ELectrónica de Investigación y EValuación Educativa, v. 9, n. 1. http://http/www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm Patrocinada por la Universidad de Zaragoza.
(2) http://www.uv.es/RELIEVE.
(3) http://dialnet.unirioja.es/servlet/extaut?codigo=89066
(4) http://dialnet.unirioja.es/servlet/articulo?codigo=2091397
(5) http://dialnet.unirioja.es/servlet/articulo?codigo=670569