Un saludo para los colegas que están reunidos en Este quinto congreso tecnológico poex 2024 Mi nombre es Ramos soy doctor en ciencias de Educación y docente e investigador de la pontificia Universidad Católica del Ecuador de su sede de manab mi presentación Es sobre la Inteligencia artificial al servicio de la investigación Y cómo esta puede automatizar la evaluación de la validez de contenido bueno la convergencia entre la psicometría y la Inteligencia artificial representa un avance significativo en la evaluación de instrumentos de división la aplicación de técnicas de procesamiento del lenguaje natural permite realizar análisis semánticos profundos
revelando nuevas perspectivas sobre la estructura y la validez de los de los ítems la calidad de un instrumento de medición está relacionada con el cumplimiento de dos requisitos fundamentales confiabilidad y validez tradicionalmente la validez de contenido del instrumento de medición se determina mediante la comparación sistemática de los ens de la prueba con El dominio de contenido del concepto investigado la evaluación de la validez de contenido se enfrenta a varios desafíos que pueden comprometer la precisión y la objetividad el primero de estos desafíos es la subjetividad del del juicio humano en el caso del juicio de
expertos los expertos tienen diferentes Marcos teóricos su sus propios sejos y todo lo anterior pues dificulta el el consenso Otro aspecto son los criterios subjetivos como la falta de Claridad en los objetivos del que se persigue con el cuestionario y que las escalas de medición también pueden tener un fuerte componente de subjetivo y no ser del todo comprendida por los expertos y además también está la influencia del contexto en este aspecto entran las características del instrumento que que puede ser digamos muy extenso esto puede obstruir un po la objetividad del Análisis Y por último también
influye en esto el propósito de la de la evaluación es muy complicado reunir un grupo de expertos en el área temática para evaluar la pertinencia de determinados ems además e evaluar la validez de contenido de un gran número de ems puede ser una tarea complicada que esto puede tener un un costo significativo eh También relacionado con la elaboración de materiales y el análisis de datos Y además e el tiempo requerido para este proceso de evaluación también puede ser prolongado y esto puede llegar a retrasar la implementación del instrumento Por otra parte Eh puede ser que
en algunos casos sea difícil obtener todo el información necesaria para evaluar la pertinencia de los ems y esto puede pues comprometer la calidad de la de la evaluación otro de los de los desafíos es el análisis de grandes volúmenes de datos la gran cantidad de datos puede dificultar la identificación de patrones y relaciones relevantes además el análisis manual de grandes volúmenes de datos es un proceso lento y laborioso que requiere una inversión significativa de estos de estos recursos la evaluación manual de cada ítem puede incluir los sesgos propios de los expertos además de variaciones en
los resultados debido a la subjetividad de del juicio Por otra parte se pueden observar inconsistencias en la evaluación así como dificultad para identificar em redundantes o ambiguos se puede complicar la identificación de aquellos itens que miden lo mismo o que son difíciles de interpretar Cómo podemos optimizar la evaluación de la validez de contenido utilizando herramientas de Inteligencia artificial Bueno pues podemos aprovechar la automatización de tareas puesto que la Inteligencia artificial puede asumir tareas repetitivas que consumen mucho tiempo como la codificación de datos la identificación de ítems redundantes y la comparación de respuestas además eh la
Inteligencia artificial nos permite una mayor objetividad al eliminar el sejo Humano eh los algoritmos de Inteligencia artificial proporcionan evaluaciones más objetivas y y consistentes eh además son capaces estos algoritmos de analizar grandes volúmenes de datos identificando relaciones complejas entre variables y generando valiosos hallazgos Además de que es posible personalizar esta evaluación adaptándola a las necesidades específicas de cada estudio y generando instrumentos de medición más precisos y relevantes veamos Cómo podemos utilizar el procesamiento del lenguaje en la evaluación de la validez de contenido nosotros podemos aprovecharnos de el análisis semántico de los ems para identificar ambigüedades
para evaluar la claridad de los ems además podemos aprovechar la capacidad de procesamiento para identificar sinónimos antónimos y relaciones semánticas que nos permitan detectar redundancias podemos también a través de esto evaluar la cobertura del constru o sea asegurar que el conjunto de ems cubra todas las facetas relevantes del constructo teórico que estamos estudiando y además eh podemos crear escalas o sea podemos agrupar ítems que estén semánticamente relacionados para formar escalas que midan diferentes dimensiones del constructo además podemos hacer comparaciones de estos ítems con el constructo teórico en el sentido de evaluar la congruencia si están
alineados con la definición conceptual detectar Ros culturales sociales o ideológicos y mejorar eh la validez de contenido en general mediante la realización de ajustes en los ems para que midan lo que se pretende medir por su parte el aprendizaje automático eh nos permite desarrollar modelos capaces de clasificar los ines de un cuestionario en función de su relevancia para el constructo además podemos identificar eh patrones en relación ocultas en los datos que no que no son tan evidentes a simple vista el aprendizaje automático puede detectar patrones de sejos en los ems como sejos de género o
culturales además Eh puede detectar interacciones entre items Cómo esto afecta la interpretación de los resultados y también permite identificar estructuras eh subyacentes en los datos Y esto nos permite identificar a su vez dimensiones latentes que no que no son directamente observables por su parte la aplicación de las redes neuronales a la evaluación de la validez de contenido permite la comparación de ítems con el constructo a través de e la similitud entre la representación vectorial de un ítem y la representación vectorial de la definición teórica del constructo además permite la identificación de sinónimos y antónimos e
la detección de redundancias así como la creación de de escalas al agrupar ems con una alta similitud semántica para formar escalas que midan diferentes dimensiones del constructo como conclusiones de esta ponencia podemos destacar los beneficios que tiene la Inteligencia artificial en la evaluación de la validez de contenido entre los que se encuentran que eh tiene una una mayor objetividad puesto que se automatiza una gran parte del del proceso de evaluación también aumenta la la eficiencia ya que la Inteligencia artificial puede procesar grandes volúmenes de datos en tiempos reducidos en una mayor precisión puesto que se
pueden identificar patrones y relaciones sutiles que son difíciles de detectar para los humanos una mayor profundidad con respecto a a los análisis que realizan los expertos ya se aplican técnicas como el análisis semántico profundo que permiten la exploración de significados Más allá de la superficie del texto y por último la personalización puesto que la Inteligencia artificial permite adaptar los instrumentos de medición a las necesidades específicas de cada población a pesar de sus beneficios la aplicación de la Inteligencia artificial a la evaluación de la validez de contenido también presenta limitaciones y desafíos Como por ejemplo la
calidad de los datos utilizados para entrenar modelos de Inteligencia artificial son cruciales para obtener resultados precisos algunos modelos de Inteligencia artificial como las redes neuronales profundas pueden ser difíciles de interpretar esto conlleva a la una mayor dificultad para comprender la razones detrás de las predicciones los modelos de Inteligencia artificial pueden perpetuar sesgos preexistentes en los datos de entrenamiento lo que puede llevar a resultados discriminatorios además de esto el costo para el desarrollo y mantenimiento de modelos de Inteligencia artificial pueden ser puede ser elevado tanto en términos económicos como computacionales en esta exposición hemos explorado có
la Inteligencia artificial está revolucionando la evaluación de la validez de sustenido Muchas gracias por su atención y quedo a disposición para cualquier pregunta