Enfoque de entrenamiento del modelo BERT orientado a la comprensión lectora

RESUMEN 

La comprensión lectora es una habilidad fundamental para el desarrollo del conocimiento en diversas áreas. Sin embargo, la capacidad de comprensión lectora de las personas ha ido disminuyendo a nivel mundial. Este trabajo se enfoca en el entrenamiento del modelo de Representación de Codificador Bidireccional de Transformadores, o modelo BERT, orientado a la comprensión lectora. El objetivo es verificar cómo el modelo BERT, que se basa en inteligencia artificial, interpreta y clasifica inferencias a partir de textos. Para lograr este propósito, se recopilaron oraciones de distintos textos en español que fueron utilizadas como base para obtener inferencias. Las inferencias fueron generadas por el modelo ChatGPT línea a través de prompts y los resultados obtenidos se etiquetaron en cuatro tipos: asociativa, elaborativa, predictiva y no inferencia. El modelo BERT se ha entrenado con un corpus de 1000 oraciones, cada una con su inferencia correspondiente y el etiquetado que indica el tipo de inferencia, utilizando la técnica de procesamiento de lenguaje natural para evaluar el rendimiento en la clasificación de inferencias. Los principales hallazgos revelaron que el modelo BERT entrenado para la clasificación de tipos de inferencia, representa un avance prometedor en la evaluación automática de la comprensión lectora mediante inferencias.

Palabras clave: BERT; ChatGPT; comprensión lectora; inferencias; procesamiento de lenguaje natural.