| |
Evaluación del
proyecto E.M.A.E. (Equipo de maestros adiestradores en
evaluación)
Carmen G. Álvarez Morales
INTRODUCCION
Esta investigación consiste en la evaluación de un
adiestramiento para adiestradores de pares. Los sujetos' del
estudio fueron maestros del Sistema Público que participaron
en el Proyecto E.M.A.E. (Equipo de Maestros Adiestradores en
Evaluación). Este Proyecto fue desarrollado por la División
de Evaluación del Departamento de Educación de Puerto Rico,
durante el año escolar 1995-96. El propósito del Proyecto
fue adiestrar a un grupo de maestros de las siete regiones
educativas de la Isla y a los Supervisores de evaluación de
dichas regiones en técnicas innovadoras de evaluación.
Este esfuerzo surgió como respuesta a los intereses que
tenían los maestros del Sistema y que fueron recogidos a
través del Estudio de Necesidades de Adiestramiento al
Personal Docente de las Escuelas. Este estudio de
necesidades fue desarrollado por la Secretaría Auxiliar de
Planificación y Desarrollo Educativo, durante el año escolar
1994-95. El 89.9% de los distritos participantes informaron
tener la necesidad de adiestrarse en técnicas innovadoras
para evaluar el aprovechamiento de sus estudiantes, y a su
vez mejorar la evaluación de los procesos de enseñanza y
aprendizaje. Para atender el alto porcentaje de necesidad de
adiestramiento, la División de Evaluación desarrolló la
estructura del Proyecto E.M.A.E. basado en un efecto
multiplicador. Esto es, cada par de maestros adiestrados
tenía el compromiso de adiestrar a otros 25 funcionarios
escolares de sus distritos y/o regiones educativas.
Específicamente, el adiestramiento consistió en trece
sesiones en las que, además de adiestrar a los maestros en
las técnicas de evaluación, se les capacitó para ser
adiestradores de sus pares. Esto concuerda con la visión
andragógica de Dantonio (1995), quien sugiere como método
efectivo de educación de adultos la enseñanza entre
homólogos. Una vez certificados como adiestradores, se
agruparon en pares y cada pareja asumió el compromiso de
adiestrar a 25 funcionarios, la mayoría de ellos maestros de
la sala de clases. En la primera fase (E.M.A.E. 1) se
certificaron 40 maestros; los cuales en la segunda fase (E.M.A.E.
2) adiestraron aproximadamente los 500 funcionarios
esperados, a través de la Isla. En la siguiente figura se
puede observar la estructura original del Proyecto.
Usando como modelo de evaluación la teoría de Stufflebeam
(1987), conocida como C.I.P.P. (Contexto, Insumo, Proceso y
Producto), a través de este estudio se determinó la
efectividad del Proyecto en términos de los procesos
utilizados y del impacto experimentado por los maestros en
sus prácticas evaluativas y de adiestramiento de pares. Para
esto, se diseñó una evaluación que permitió recopilar y
analizar datos sobre el nivel de satisfacción con las
estrategias utilizadas en el adiestramiento, los elementos
específicos del adiestramiento que evocaron satisfacción y
el cambio en la visión de la evaluación, si alguno, luego
del adiestramiento. También, se recopilaron y analizaron
datos para evaluar la capacidad la capacidad de los maestros
para transmitir los conocimientos adquiridos a sus pares,
para determinar las dificultades y satisfacciones
experimentadas en su rol de adiestrador de pares y para
determinar la utilización de métodos de "assessment”2 en la
sala de clases por los maestros participantes. Estos
elementos se convirtieron en la base para las preguntas de
evaluación que guiaron esta investigación.
Para la recopilación de estos datos, se utilizó un enfoque
multimetodológico, en el que se combinaron estrategias tanto
cualitativas como cuantitativas. Por un lado, las técnicas
cuantitativas permitieron auscultar en la totalidad de los
participantes una variedad amplia de aspectos mientras que
las técnicas cualitativas permitieron profundizar en los
hallazgos cuantitativos (Bravo,1992). Se obtuvo información
cualitativa con la técnica de respuesta escrita inmediata
(Writing Prompt) a través de ejercicios de "graffiti" y de
expresar por escrito y de forma anónima los elementos que
causaron satisfacción y disgusto. También, se utilizó como
técnica unas escalas para medir niveles de satisfacción en
un cuestionario que incluía a su vez preguntas para
respuestas abiertas. Esta técnica en particular, proveyó
para ambos tipos de análisis (cualitativo y cuantitativo).
Además, otros datos cuantitativos fueron obtenidos a través
de cuestionarios con escalas y planillas de evaluación.
Con el fin de medir cuán efectivo fue el adiestramiento, en
términos del impacto en la utilización de métodos de
"assessment" en la sala de clases, se compararon las
estrategias evaluativas que utilizan los maestros del grupo
E.M.A.E. (N=36, tasa de respuesta 94.7%) y las que utiliza
un grupo de comparación. Los maestros del grupo de
comparación (N=36) tenían características similares en
términos de años de experiencia y nivel que enseñan y hasta
el momento de ser encuestados, no habían recibido
adiestramiento en evaluación en los últimos tres años. Este
grupo de maestros fue seleccionado de forma aleatoria de una
muestra mayor escogida para un estudio en proceso por el Dr.
Andrés Collazo, Catedrático de la Facultad de Educación de
la Universidad de Puerto Rico.
RESULTADOS
La evidencia recopilada indicó que el nivel de satisfacción
general provocado por las estrategias utilizadas sobrepasó
marcadamente el criterio establecido. En la evaluación final
de la actividad, cuatro de los siete aspectos evaluados
fueron catalogados como excelente y bueno por el 100% de los
participantes. Las demás premisas fueron evaluadas en esa
categoría por el 95% de los participantes. Entre los
elementos específicos identificados como provocadores de
satisfacción están el crecimiento profesional, el compartir
con compañeros maestros, la labor de los facilitadores y las
ponencias e interacción de algunos recursos invitados. A
continuación se incluyen algunas de las citas relacionadas
con el tema extraídas de los datos cualitativos expresados
por los maestros:
"Lo que más me gustó es
haber compartido mis conocimientos y adquirido
muchísimos más que podré seguir compartiendo con otros
maestros por el bienestar de la educación en Puerro
Rico."
"Lo que más me gustó del adiestramiento E.M.A.E. fue el
poder compartir con todos mis compañeros maestros."
"Lo que más me gustó fue la supervisión, y el
seguimiento de las personas organizadoras de los
talleres, que en todo momento estuvieron de cerca
ofreciéndonos apoyo."
"[Nombre del recurso a cargo del tema]...y sus
reacciones afirmativas." Antes del adiestramiento, los
maestros identificaban la evaluación con los siguientes
descriptores: "notas", "pruebas", "medir" e "injusta".
Se recibió una variedad de términos que fueron
integrados en una categoría por la carga emotiva que
representaban. Algunos de los términos ubicados en esta
categoría lo fueron: "tediosa", "larga", "empalagosa", "insoportable",
''difícil'', "complicada", "poco motivadora", "poco
humana", "desconocimiento", "dudosa" y "seca". Luego del
adiestramiento, los participantes describieron la
evaluación con los siguientes descriptores: "justa", "variedad",
"retrocomunicación", "creatividad", "recoger datos
importantes", "auto-evaluación", "humana",
"multidimensional" y "reflexiva", entre otros. Como
puede inferirse, entre los participantes hubo unvcambio
positivo en la visión de la evaluación luego del
adiestramiento.
En la segunda fase del
Proyecto (E.M.A.E. 2), 1os 40 maestros certificados como
Adiestradores en Evaluación divididos en pares, ofrecían el
adiestramiento a 25 funcionarios de su distrito o región
educativa, siendo la mayoría maestros de la sala de clases
al igual que ellos. Estos adiestramientos fueron evaluados
por los Supervisores de Evaluación de las regiones
educativas y del Nivel Central, con una planilla diseñada
para esta actividad llamada Planilla para el cotejo del
proceso de adiestramiento de los maestros adiestradores en
evaluación. La evidencia recopilada de su análisis indica
que los maestros desarrollaron la capacidad para transmitir
a sus pares los conocimientos adquiridos. El 51.6% de las
sesiones evaluadas fueron catalogadas como excelente" en
todos los renglones considerados y el 29.9% obtuvo categoría
de excelente en 90% de los aspectos evaluados.
Con el propósito de que la estructura del Proyecto pudiera
ser replicada (eficacia del proceso), se recopilaron datos
sobre las dificultades que experimentaron los participantes
en su rol como adiestradores de sus pares. A la luz de los
comentarios vertidos, emergieron dos arreas en que los
maestros confrontaron dificultades. Una de ellas relacionada
con el escenario de trabajo y la otra con el aspecto
personal.
En el escenario de trabajo, los elementos que se evocaron
con mayor frecuencia fueron la actitud negativa de algunos
maestros a quienes iban a adiestrar y de los directores de
escuela que objetaban sus salidas de la sala de clases para
ofrecer y/o planificar los adiestramientos. Hay que señalar
que a los maestros de E.M.A.E. nunca se les relevó de su
carga académica, por lo que su compromiso de preparar,
ofrecer y evaluar 13 adiestramientos se sumaba a la
responsabilidad de la carga académica de cinco grupos de
estudiantes. Es por esto que otra de las dificultades que
obtuvo una frecuencia alta lo fue el volumen de trabajo que
este Proyecto implicó para los maestros. La reproducción de
los materiales a utilizar en los talleres y la poca
colaboración recibida en algunos niveles (región o distrito)
fueron elementos señalados como dificultades en el proc eso.
En cuanto a lo personal, los maestros expresaron que el
Proyecto fue un esfuerzo extraordinario. que en ocasiones
les trajo dificultades financieras y reducción del tiempo
familiar. A pesar de que en la estructura aprobada por el
Secretario de Educación, se les proveyó de algunos días para
la planificación y preparativos para los talleres, al
parecer estos no fueron suficientes. Los equipos se reunían
en su tiempo libre, incluyendo noches durante la semana y
los fines de semana, para la planificación de las sesiones.
Por esta tarea, los maestros no recibieron incentivo
económico alguno, lo cual se consideró como un elemento que
denota sus altos niveles de compromiso y motivación. La
siguientes citas de los maestros, expresan lo expuesto.
"No me reconocen como
recurso en mi núcleo escolar."
"Fue muy fuerte cumplir con las dos tareas, la tarea
académica y la preparación
de los talleres. Tuvimos estudiantes de 8:00 a 3:00."
"Un esfuerzo increíble, horas y más horas de
planificación."
"Sacrificar las horas de compartir con mi familia y
sacrificar mis estudios de
maestría. Me descuadró el presupuesto."
Para evaluar el impacto
directo (producto) que tuvo el adiestramiento en las
estrategias evaluativas utilizadas por los maestros en la
sala de clases, se estudiaron los datos encontrados por la
comparación de dos muestras independientes, descritas al
inicio de este documento. De acuerdo a los datos recopilados
sobre las técnicas de assessment utilizadas por los
maestros, y a través de la Mann-Whitney U Test (2 < 0.05),
se evidencia una diferencia significativa a favor del grupo
de maestros de E.M.A.E. De diez técnicas encuestadas, siete
evidencian una diferencia estadísticamente significativa.
Esto es indicativo de que el grupo adiestrado utiliza una
variedad mucho mayor de estrategias para determinar el
aprovechamiento académico del estudiante. Las técnicas en
que se reflejó esta diferencia entre los grupos lo fueron:
(a) la prueba escrita, (b) la prueba oral, (c) la prueba de
ejecución, (d) la observación de participación diaria, (e)
proyectos cooperativos, (f) el uso del portafolio y, (g) el
uso del diario reflexivo.
El cuestionario exploraba también el uso de las actividades
que se recomiendan llevar a cabo antes y después de las
estrategias evaluativas. De las once actividades encuestadas,
seis mostraron una diferencia significativa. Estas fueron:
(a) la preparación de las pruebas a base de objetivos, (b)
la preparación de una planilla de especificaciones, (c)
consultar con otro maestro sobre la claridad y pertinencia
de los ítemes, (d) discutir con los estudiantes las
respuestas que dieron a la prueba, (e) utilizar los
resultados para decidir los próximos objetivos a cubrir y,
(f) dar ayuda remedial a base de los resultados de la prueba.
Esto indica que los maestros adiestrados, al implantar las
estrategias evaluativas, lo hacen siguiendo los pasos
recomendados con mayor frecuencia, a diferencia del grupo no
adiestrado.
Además, el cuestionario administrado preguntaba a los
encuestados sobre los propósitos que tenían los maestros al
implantar las estrategias evaluativas. Los datos revelaron
que de cinco variables encuestadas, hubo diferencia
estadísticamente significativa en dos de ellas a favor del
grupo de E.M.A.E. Estas fueron, el usar la evaluación (a)
para diagnosticar las fortalezas y debilidades de cada
estudiante y (b) para formar grupos para llevar a cabo
actividades de enseñanza. Se puede inferir que los maestros
del grupo E.M.A.E. fundamentan el uso de la evaluación en
propósitos específicos y adecuados a lo que persiguen como
educadores.
Se evidenció también una diferencia en la cantidad de horas
semanales dedicadas a la evaluación del aprovechamiento
académico de los estudiantes. El grupo de comparación dedica
un promedio de 10.7 horas semanales a las tareas
relacionadas con la evaluación de los estudiantes mientras
que el grupo de maestros de E.M.A.E. dedica un promedio de
13.9 horas a estas tareas.
De acuerdo a estos resultados, se evidencia que hubo niveles
de satisfacción altos con los procesos utilizados y que los
elementos que causaron satisfacción fueron entre otros, la
oportunidad de crecer profesionalmente, la oportunidad de
compartir con otros compañeros maestros y la labor de los
facilitadores. Se evidenció también un cambio en la visión
de la evaluación que tenían los maestros luego de pasar por
la experiencia del adiestramiento y que desarrollaron las
destrezas necesarias para adiestrar a sus pares. Por otro
lado, se identificaron 2 áreas en donde los maestros como
adiestradores confrontaron dificultades: (a) el ambiente de
trabajo (la actitud negativa de funcionarios, el volumen de
trabajo, la reproducción de materiales y la colaboración
recibida por los niveles regionales y los distritos) y (b)
el ambiente personal (el esfuerzo extraordinario dedicado al
Proyecto y los gastos económicos incurridos). Finalmente, la
investigación evidenció también que los maestros adiestrados
reflejaron hacer uso de una mayor variedad de estrategias
evaluativas para determinar el aprovechamiento académico de
los estudiantes, son más competentes en el uso de esas
estrategias (llevan a cabo las actividades previas y
posteriores recomendadas) y fundamentan la evaluación en un
propósito. Al analizar los resultados se puede observar que
a pesar de que dedican más tiempo semanalmente a estas
tareas, la consideran "justa", "creativa", "que recoge datos
importantes", "reflexiva", "dinámica", "motivadora", "real",
"individual" y "humana".
Cabe señalar, que otro de los elementos positivos del
Proyecto fue el uso continuo del modelaje como estrategia de
adiestramiento. Uno de los recursos humanos utilizados lo
fue un maestro de la sala de clases, quien expuso sus
experiencias con el uso del portafolio como técnica de
evaluación del proceso de enseñanza y aprendizaje. Su
exposición clara, sencilla y repleta de experiencias del
diario quehacer magisterial fue altamente aplaudida por la
audiencia. Se evidenció la identificación de maestro a
maestro y un modelaje factible para la audiencia. A
continuación uno de los comentarios al respecto expresado
por uno de los maestros.
"Lo que más me gustó del
adiestramiento E.M.A.E. fue la participación del maestro
(nombre del profesor), formidable modelo de nuestro DE."
Al ser el Proyecto en esencia
un adiestramiento sobre evaluación, se utilizó una gran
variedad de estrategias para la evaluación del proceso, y
las expresiones de los participantes indican que los
facilitadores utilizaron su posición para modelar
constantemente el manejo y solución de situaciones de grupo.
De esta manera se logró que entraran y reflexionaran sobre
el proceso que se estaba generando y, esto a su vez,
facilitó que se creara conciencia de la importancia del
trabajo en equipo v de la aplicación de estrategias
andragógicas. Al respecto una de las maestras se expresó:
"Me alegro de haber
conocido gente que me ha ayudado a crecer y a ser mejor
ser humano. Y por ende, mejor compañera, amiga y
profesional. ¡Qué Dios bendiga a todo aquel que se
esforzó por ello!"
Como recomendaciones se
incluyen las siguientes:
-
Si se replica este modelo,
debe haber un reducción en la carga académica del
maestro adiestrador.
-
Para facilitar la
reproducción de materiales, se debe desarrollar un
acuerdo administrativo entre distritos y regiones.
-
Se deben asignar fondos a
los maestros adiestradores para cubrir gastos
incurridos.
Se debe mejorar el proceso de
selección de los recursos.
-
El DE debe reconsiderar
las estrategias de adiestramiento a maestros e
incorporar este modelo a otras iniciativas.
-
Y, el DE debe resolver el
dilema de la conservación del tiempo electivo versus el
tiempo dedicado a la capacitación del maestro.
A base de los hallazgos
obtenidos, y considerando las observaciones arriba señaladas,
se le recomienda al Departamento de Educación que incluya el
modelo de adiestramiento entre pares en las estrategias que
utiliza para el mejoramiento profesional de la clase
magisterial. Como cierre se incluye una cita directa de uno
de los participantes. "Gracias. Tú me tocaste y yo crecí."
REFERENCIAS
Bravo, M. ( 1995). Enfoque multimetodológico en la
evaluación de programas. experiencias del Proyecto de
Equidad entre los géneros. Manuscrito sometido a publicación.
UPR.
Dantonio, M. (1995). Collegial coaching: inquiry into the
teaching self. -USA: Phi Delta Kappa Inc.
Stufflebeam, D.L. & Shinkfield, A.J. (1987). Evaluación
sistemática. Barcelona: Editorial Paidós.
-
Aunque se usará el género masculino a través de este
documento, ello aplica tanto a hombres como a mujeres.
-
Se entiende por “assessment” el proceso de obtener,
organizar y presentar información variada mediante
diferentes técnicas sobre el qué aprende el estudiante, y
cómo lo aprende para mejorar el proceso educativo.
|
indice
| |
|
