Un nuevo estudio publicado en el Journal of Chemical Education examina los resultados de la evaluación de respuestas académicas generadas utilizando ChatGPT, una tecnología de inteligencia artificial basada en transformadores preentrenados. El estudio, realizado por Suzanne Fergus, Suzanne Fergus, Michelle Botha y Mehrnoosh Ostovar, analiza el impacto potencial de ChatGPT en el aprendizaje y la evaluación en el campo de la química.
La integración de la tecnología en la educación ha adquirido una mayor prioridad desde la pandemia de COVID-19. ChatGPT es una tecnología de inteligencia artificial que genera interacciones conversacionales en respuesta a preguntas de los usuarios. Este modelo entrenado puede responder a preguntas de seguimiento, admitir errores, desafiar premisas incorrectas y rechazar solicitudes inapropiadas. Sin embargo, la funcionalidad de ChatGPT para responder preguntas de evaluación en química requería una investigación más profunda.
Limitaciones de ChatGPT en preguntas que requieren aplicación e interpretación de conocimientos
El estudio se centró en dos módulos de química en el programa de ciencias farmacéuticas de primer y segundo año. Se evaluaron las respuestas generadas por ChatGPT en relación con los exámenes finales de estos módulos. Se encontró que ChatGPT era capaz de generar respuestas para preguntas que requerían conocimientos y comprensión, pero presentaba limitaciones en preguntas que implicaban la aplicación e interpretación de conocimientos y el uso de información no textual.
El análisis de la calidad de las respuestas reveló que ChatGPT demostró ser una herramienta de baja riesgo en cuanto a posibles trampas académicas. Sin embargo, hubo casos en los que se detectaron errores en las respuestas generadas por el modelo, incluso cuando la respuesta correcta se podía encontrar fácilmente a través de una búsqueda en internet. Esto destaca la importancia de la revisión y verificación de las respuestas generadas por ChatGPT.
Además, el estudio examinó si el uso de diferentes cuentas de usuario generaba respuestas similares. Se encontró que, debido a la naturaleza probabilística del modelo, las respuestas generadas variaban entre diferentes cuentas de usuario. Esto demuestra la aleatoriedad inherente en las respuestas generadas por ChatGPT.
Plataforma de integridad académica Turnitin no detecta similitudes con respuestas generadas por ChatGPT
El estudio también evaluó si el software de detección de plagio, Turnitin, reportaba similitudes con las respuestas generadas por ChatGPT. Sin embargo, los resultados mostraron que no se encontraron altos porcentajes de similitud en las evaluaciones de primer y segundo año.
En resumen, este estudio proporciona una visión detallada de la capacidad de ChatGPT para generar respuestas a preguntas de evaluación en química. Si bien se encontraron limitaciones en el manejo de preguntas que requerían aplicaciones e interpretaciones complejas de conocimientos, ChatGPT se mostró como una herramienta prometedora para preguntas basadas en conocimientos y comprensión. Estos hallazgos abrirán nuevas discusiones sobre la integridad académica y el diseño de evaluaciones, mientras se continúa desarrollando y mejorando la tecnología de ChatGPT.
Para leer el estudio completo, visita: https://pubs.acs.org/doi/10.1021/acs.jchemed.3c00087
Deja una respuesta