1) ENFOQUE EVALUATIVO
2) ESTRUCTURA DE LA PRUEBA
3) CONTEXTO DE APLICACIÓN
4) OBJETIVOS DE LA PRUEBA
5) NÚMERO DE ÍTEMS
6) NIVEL DE COMPLEJIDAO
7) TIEMPO
8) CRITERIOS DE EVALUACIÓN
9) REJILLA MATRIZ
10 ) PROCESAMIENTO DE RESULTADOS
barra
enfoque
 

El enfoque evaluativo define el sentido de la prueba que se va a aplicar. La evaluación de aprendizajes según su enfoque puede clasificarse en cinco tipos, como lo ilustra la siguiente gráfica.

enfoque

En el caso particular del enfoque de evaluación por competencias definido por el ICFES resultan de gran utilidad los siguientes documentos orientadores

logo
logo
logo
logo
logo
logo
la primera tarea en la elaboración de un simulacro tipo ICFES consiste en identificar en cada área cuáles son los referentes teóricos o componentes que evalúa la prueba de estado, y a través de qué acciones de pensamiento evalúa las competencias especificas en cada disciplina. Así por ejemplo las acciones de pensamiento para la competencia interpretativa, no son las mismas para la prueba de sociales que para la prueba de filosofía.
documentos
fundamentos

arriba

barra
estructura

Con el propósito de brindar la mayor claridad posible a los tópicos expuestos en esta sección sugerimos avanzar en el desarrollo de ésta, dando una mirada paralela a nuestra sección simulacro de física. El objetivo es que el diseño de este simulacro sierva de modelo, para elaborar otros simulacros PRE ICFES, dentro del mismo contexto, para las demás áreas. La estructura de la prueba la conforman los siguientes elementos

estructura
arriba
barra
contexto
 

Definir el contexto nos proporciona elementos que luego deberán tenerse en cuenta para establecer un análisis comparativo de sus resultados al aplicar la misma prueba en un contexto diferente. La siguiente tabla nos define el contexto de aplicación

AREA A EVALUAR  
NÚMERO DE ÍTEMS  
FECHJA DE APLICACIÓN  
FECHA PARA PROCESAMIENTO DE RESULTADOS  
FECHA PARA ENTREGA DE RESULTADOS  
INSTITUCIÓN DONDE SE APLICA  
CURSOS A LOS QUE SE APLICA  
NÚMERO DE EVALUADOS  
PORCENTAJE SEXO FEMENINO  
PORCENTAJE SEXO MASCULINO  
arriba
barra
objetivo

Debemos definir un objetivo general para la prueba, y unos objetivos específicos aseguren el camino hacia el objetivo general. Un objetivo general puede hacer referencia a qué competencia o competencias se pretenden evaluar y mediante que contenidos; y los objetivos específicos hacer referencia a que acciones de pensamiento concretamente de la competencia a evaluar se van a poner en juego y mediante que desempeños.

 
arriba
barra
preguntas

El número de ítems debe definirse teniendo en cuenta el tiempo disponible para resolver la prueba, los aspectos que se quieren evaluar, el nivel de complejidad de la prueba, y las características de la población que se va a evaluar. Con el número de ítems también debe definirse qué tipo de ítems se van a utilizar, por ejemplo, se plantearán un total 10 ítem cerrados del tipo I, distribuidos entre interpretativos, propósitivos, y argumentativos. Los tipos de ítem se clasifican según su forma y según su propósito evaluativo como se explica en la sección elaboración de ítems

 
arriba
barra
complejidad
 

Para establecer el nivel de complejidad de la prueba se establece primero el nivel de complejidad de cada uno de los ítems, este nivel depende de factores como la cantidad de información que se requiere movilizar, los niveles de abstracción que implica, el número de variables que intervienen, las acciones de pensamiento que se ponen en juego, y el tipo de ítem.

Para determinar el nivel de complejidad de una prueba se establecen criterios a partir de la puntuación dada a los diferentes ítem, así por ejemplo, podría establecersen los siguientes criterios

NIVEL DE LA PRUEBA
CONDICIÓN
ALTO Si del puntaje total de la prueba es 80% o más corresponden a ítems de nivel ALTO
BAJO
Si del puntaje total de la prueba el 70% o más corresponden a ítems del nivel BAJO
MEDIO
En todos los demás casos posibles

Así mismo es importante, determinar los niveles de las competencias a evaluar. En los documentos orientadores ICFES 2007 se exponen para algunas de las áreas los niveles de competencias esperados; así por ejemplo en el documento FUNDAMENTACION CONCEPTUAL AREA DE CIENCIAS NATURALES (páginas 102 y 103) encontramos la siguiente matriz para el área de física

 
IDENTIFICAR
INDAGAR
EXPLICAR
ALTO
En este nivel las personas son
capaces de identificar
gráficamente relaciones entre
variables, correspondientes a
situaciones no típicas, que
requieren del manejo de los
referentes de manera
articulada. Identifican formal y
rigurosamente elementos
matemáticos de un enunciado
o de una gráfica que
complementan el sentido
físico del problema planteado,
incluso en el marco de
situaciones que podrían
contradecir al “sentido
común”. Igualmente son
capaces de reconocer
relaciones de orden entre
valores de una variable, para
diferentes condiciones
Las personas que se ubican
en este nivel son capaces de
proponer métodos de
descripción cualitativos y
cuantitativos acerca de
problemas tipo o incluso de
aquellos que requieren un
mayor grado de abstracción; y
de inferir estrategias, que de
un modo más general,
describen resultados ulteriores
provenientes de un correcto
análisis del problema directo
que deben abordar. Esto
implica una correcta
interpretación de la correlación
de variables que le dan
sentido completo al problema,
del efecto de la variación de
condiciones iniciales del
problema físico planteado,
haciéndolos capaces de
conectar situaciones
cotidianas con profundos
conceptos teóricos de la física.
Las personas que se ubican
en este nivel reconocen y
manipulan de forma rigurosa
el lenguaje matemático formal
de la física. Proponen
explicaciones adecuadas a un
problema dado, con base en
argumentos lógicos
matemáticos concretos, y son
capaces de expresar esas
expiaciones de forma clara y
concreta, evidenciando un
manejo adecuado de los
referentes teóricos. Son
capaces de descubrir
relaciones implícitas entre
variables y de proponer
hipótesis a partir de la
información suministrada en
tablas y gráficas.
MEDIO
Las personas en este nivel
manejan, además de
nociones, conceptos teóricos
de la disciplina. Identifican
relaciones cualitativas y
cuantitativas entre 2 o más
variables asociándolas a
fenómenos físicos concretos.
Sin embargo en algunos
casos pueden llevar a cabo el
reconocimiento de situaciones
problema con base en
desarrollos matemáticos
operativos y mecánicos
En este nivel las personas
reconocen y emplean
elementos matemáticos y
físicos formales mínimos,
requeridos en la formulación
de estrategias para la
resolución de problemas
asociados con situaciones
tipo. Usualmente diseñan
procedimientos adecuados
para dar cuenta cualitativa y
cuantitativamente del
comportamiento de dos o más
variables dentro de un mismo
contexto; sin embargo,
pueden presentar deficiencias
en el momento de indagar
sobre el efecto de la variación
de las condiciones iniciales.
Por lo general hacen uso de
herramientas analíticas
válidas, aunque en algunos
caso su sobreestimación o
desestimación puede no dar
cuenta de los fenómenos que
intentan describir debido a
dificultades en la formulación
de un planteamiento riguroso
que refleje la conexión
establecida entre las variables.
Estas personas reconocen
elementos del lenguaje propio
de la ciencia, bien sea en
forma verbal o de ecuaciones;
sin embargo pueden tener
deficiencias para explicar
situaciones que requieran no
solo de afirmaciones
cualitativas, sino de
expresiones analíticas y
cuantitativas,. Aunque
reconocen y utilizan
información no explícita en
gráficas o tablas, en algunas
ocasiones, pueden tener
dificultad para explicar de
manera rigurosa la relación
establecida entre variables.
BAJO
Las personas en este nivel
identifican nociones de conceptos
físicos y son capaces
de reconocer relaciones cualitativas
y cuantitativas explicitas
sencillas entre variables,
bien sea en gráficas tablas o
textos. Estas relaciones se
refieren, por ejemplo, a funciones
lineales. Es muy probable
que la interpretación que
hacen de situaciones novedosas
tenga base en hechos
cotidianos que no necesariamente
tienen relación directa
con los fenómenos a los que
se quieren referir, evocando el
recuerdo de ejemplos prototipo
En este nivel las personas
pueden plantear afirmaciones
cualitativas para expresar los
elementos de análisis requeridos
por una situación tipo,
sin embargo se les dificulta
relacionar variables y es
posible que, para resolver un
problema novedoso, hagan
uso procedimientos completamente
operativos con base en
una fórmula comúnmente
usada, desligada, usualmente,
del problema propuesto. En
algunas ocasiones las herramientas
matemáticas se convierten
en paradigmas y .dejan
de ser instrumentos que les
permite construir un lenguaje
de interpretación propio de la
física. Tienen dificultad en conectar
los elementos que les
permiten predecir situaciones
que requieran relacionar 2 o
más variables, teniendo en
cuenta la variación de las condiciones
iniciales.
Las personas en este nivel
explican los fenómenos físicos
de su entorno usualmente a
partir del sentido común, con
base en nociones cotidianas
poco rigurosas y con escaso
fundamento en los referentes
teóricos. Tienen dificultad en
seleccionar argumentos
suficientes y necesarios que
den razón de las causas de un
fenómeno físico. Es posible
que generalicen a partir de
una situación particular.
Aunque pueden llegar a
comprender las causas de un
evento, se les dificulta
expresarlo pues no poseen el
lenguaje, formal y riguroso
mínimo, necesario para ello

Para las áreas donde no están definidos estos niveles de competencias se hace necesario establecerlos para que al momento de presentar los resultados se presente un informe descriptivo de ellos , de tal manera que los juicios valorativos sean orientadores del estado de desarrollo de las competencias

arriba
barra
tiempo
 

Cuando no se define previamente el tiempo para resolver una prueba revela falta de planeación por cuanto el tiempo está en relación directa con el grado de dificultad y la caracterización de los evaluados; así mismo se pierde objetividad por cuanto cabe la posibilidad que la misma prueba se aplique a grupos distintos con una caracterización similar y el tiempo no ser el mismo, por factores externos que nada tienen que ver con el diseño de la prueba, por ejemplo, falto tiempo o sobro tiempo de la clase. Es recomendable establecer dos límites de tiempo: el tiempo máximo como es tradicional ,pero también el tiempo mínimo.

arriba
barra
criterios
 
generales  

Teniendo en cuenta el nivel de complejidad definido para cada uno de los ítems debe establecerse qué valor se asignará a cada ítems, los ítem de complejidad ALTA tendrán mayor puntaje que los ítem de nivel de complejidad MEDIO, y éstos a su vez tendrán mayor puntaje que los ítems de complejidad BAJA.

A manera de ejemplo presentamos los siguientes criterios generales que permiten la clasificación por niveles de acuerdo a los puntajes individuales que se obtengan

1

Los ítems de que consta la prueba serán valorados con un puntaje máximo de 5 puntos y mínimo de 2 puntos, dependiendo del nivel de complejidad.

2

Los resultados individuales presentarán un puntaje por cada ámbito evaluado, y un puntaje promedio por cada competencia.

3

Para presentar los resultados en  término de los    componentes que contextualizan la prueba se establecen cinco niveles: Significativamente Alto, Alto, Medio, Bajo, Significativamente Bajo

4

Los resultados del  desempeño en términos de las competencias básicas se presentan en tres niveles: ALTO  – MEDIO  – BAJO

Además de los criterios generales se hace necesario precisar unos criterios específicos para determinar los niveles de desempeño referidos en los numerales 4 y 5 del cuadro anterior.

 
ejes  

Para determinar el grado de apropiación de los referentes teóricos el ICFES propone cinco niveles ( Significativamente Alto, Alto, Medio, Bajo, Significativamente Bajo), a cada uno de estos niveles debe corresponder un criterio muy claro que lo defina, así por ejemplo podrían definirse los siguientes criterios:

SIGNIFICTIVAMENTE ALTO
(SA)
Obtener un puntaje igual o superior al 90 % del puntaje total
ALTO
(A)
Obtener un puntaje igual o superior al 80 % ; pero inferior al 90 %
MEDIO
(M)
Obtener un puntaje igual o superior al 60 % ; pero inferior al 80 %
BAJO
(B)
Obtener un puntaje igual o superior al 30% ; pero inferior al 60 %
SIGNIFICATIVAMENTE BAJO
(SB)
Obtener un puntaje inferior al 30%
 
competencias  

Para determinar el nivel en cada una de las competencias el ICFES propone una escala con tres niveles (Alto, Medio, y Bajo), análogamente a la primera tabla a cada nivel debe corresponder un criterio que lo defina claramente, por ejemplo, podrían establecerse los siguientes

ALTO
III
Obtener un puntaje mayor al 70 % del puntaje total
MEDIO
II
Obtener un puntaje entre el 40 % y el 70 %
BAJO
I
Obtener un puntaje inferior al 40%
arriba
barra
matriz
 

Este instrumento es la columna vertebral en el diseño de una prueba, en la rejilla se plasma el mapa cognitivo que se pretende evaluar. La rejilla matriz permite hacer un seguimiento a las exigencias cognitivas presentes en el proceso que se quiere evaluar, a partir de la relación dinámica que se establece entre variables macros relacionadas con el enfoque evaluativo y los ejes temáticos a evaluar

Ejemplo de una rejilla matriz para una prueba que evalúa cuatro referentes teóricos

  EJES ARTICULADORES ACCIONES QUE VALORAN LAS COMPETENCIAS SABERES ESPECÍFICOS
REFERENTE TEÓRICO 1      
REFERENTE TEÓRICO 2      
REFERENTE TEÓRICO 3      
REFERENTE TEÓRICO 4      

Los referentes teóricos que evalúa el ICFES es cada una de las áreas del conocimiento pueden encontrarse en los documentos orientadores ICFES,a manera de resumen pueden leerse en el documento Guía de orientación examen de estado 2010

arriba
barra
resultados
 

Los resultados en una prueba tipo ICFES debe contener la siguiente información:

  • Resultado general referido a los referentes teóricos
  • Resultado general referido a las competencias puestas en juego
  • Resultados específicos, en cada una de los ejes temáticos referidos al conocimiento evidenciado,
  • Resultados específicos en cada uno de los ejes temáticos referidos al desarrollo de competencias

Así por ejemplo, si la prueba evalúa cuatro ejes temáticos, entonces deberán definirse, además de las dos escalas generales, unas escalas específicas para cada eje temático evaluado

especificas  

Para cada uno de los referentes teóricos o componentes evaluados deberá elaborarse una escala que contenga como mínimo la información que se presenta en la tabla siguiente. Si la prueba evalúa cuatro ejes temáticos, entonces deberán elaborarse cuatro de estas escalas

REFERENTE TEÓRICO
NIVEL
Significativamente Alto
Alto
medio
Bajo
Significativamente Bajo
PUNTAJE
 
 
 
 
 
COMPETENCIA 1
COMPETENCIA 2
COMPETENCIA 3
NIVEL
PUNTAJE
ALTO  
MEDIO  
BAJO  
NIVEL
PUNTAJE
ALTO  
MEDIO  
BAJO  
NIVEL
PUNTAJE
ALTO  
MEDIO  
BAJO  

los espacios en blanco deberán diligenciarse con base en los criterios generales previamente establecidos .

 
generales  

Podría decirse que esta escala resume las cuatro escalas anteriores

RESULTADO GENERAL
NIVEL
 
PUNTAJE
Significativamente Alto
SA
Alto
AL
Medio
ME
Bajo
BA
Significativamente Bajo
SB
COMPETENCIA 1
NIVEL
PUNTAJE
ALTO
MEDIO
BAJO
COM´PETENCIA 2
NIVEL
PUNTAJE
ALTO
MEDIO
BAJO
COMPETENCIA 3
NIVEL
PUNTAJE
ALTO
MEDIO
BAJO
 
En el diseño de pruebas que se expone en esta sección ha sido fuente de consulta principal el libro MEJORAR PARA EVALUAR: Diseño técnico de pruebas en el cual su autor Carlos Pérea Sandoval (de quien tuve la oportunidad de recibir clases) ha centrado su atención en la implementación de la evaluación desde una perspectiva sistémica, donde el diseño de pruebas se constituye en el elemento esencial. Otros sitios de referencia bibliográfica son
http://apse.or.cr/webapse/docum/docu08.htm
http://www.mep.go.cr/CentroDeInformacion/DOC/Prueba%20Escrita%202010-86201082919.pdf
arriba
barra
Proyecto de grado para optar al título de Especialista en Informática y Telemática
Fundación Universitaria del Área Andina
© William Henry Pardo Morales - 2011
Licenciado en Matemática y Física
willhy.p@gmail.com
3133616534
Fusagasugá - Cundinamarca - Colombia