Modelos de lenguajes basados en entidades
Coordinador: Rafael Muñoz Guillena
El modelado del lenguaje generalmente se aborda mediante modelos de redes neuronales. Sin embargo, aún carecen de cierta flexibilidad que ofrecen estas técnicas en términos de poder actualizar continuamente las nuevas entidades o adaptarse rápidamente a contenido personalizado. Presentamos modelos de lenguaje conscientes de entidades como un nuevo tipo de modelo de lenguaje que puede modelar entidades explícitamente, actualizar dinámicamente sus representaciones y generar el contexto de sus menciones.
Nuestra propuesta se basa en un modelo de preentrenado (Módulo A) que nos permita predecir mejor las entidades presentes en el texto, utilizando la información proporcionada por los modelos de entidad junto con la distribución aprendida por los modelos preentrenados (Teja & Bulyko, 2021 )(Srivastava et al, 2021)(Yangfeng, 2017). Además, estos modelos pueden verse como generativos y flexibles, lo que permite el modelado de un número arbitrario de entidades en contexto mientras se genera cada entidad mencionada. Hay varias tareas de procesamiento del lenguaje que se pueden aplicar, por ejemplo, modelado de lenguaje, resolución de correferencias y predicción de entidades. El modelo que proponemos se apoyará en los nuevos recursos generados en módulos anteriores o adaptará recursos preexistentes para aprender de estos modelos utilizando diferentes técnicas de aprendizaje automático (ML). En este sentido, utilizaremos tanto enfoques tradicionales de ML que han demostrado su utilidad para este tipo de tareas, como nuevas técnicas basadas en Deep Learning (DL) o Word Embeddings (WE).
Tarea C.1. Construcción de un modelo de lenguaje consciente de entidades
El objetivo de esta tarea es crear modelos de lenguaje conscientes de entidades a partir de los modelos de lenguaje genéricos pre-entrenados obtenidos en el Módulo A, los recursos semánticos definidos y obtenidos en el Módulo B y recursos externos como el corpus, entre otros.
Tarea C2. modelo de entidad generativa
El objetivo de esta tarea es desarrollar técnicas prácticas e independientes del dominio para detectar automáticamente entidades digitales de alta precisión y, por lo tanto, construir un modelo de lenguaje consciente de la entidad. Las tareas anteriores del Módulo B proporcionan un esquema con instancias que muestran las relaciones entre las entidades nombradas, sus atributos y otras entidades. Esta tarea construirá un modelo matemático para representar nuestro modelo consciente de la entidad. Este tipo de modelo apoyaría la predicción, complementación y descubrimiento de entidades en los textos.
Resultados de este módulo
- Un modelo de lenguaje con reconocimiento de entidades
- Un modelo de entidad generativa