Grandes modelos del lenguaje desde un enfoque de procesamiento con grandes datos – Español

Desde el surgimiento de las técnicas basadas en el aprendizaje de representaciones y el aprendizaje profundo (Hochreiter & Schmidhuber, 1997; Mikolov, Sutskever et al., 2013; Pennington et al., 2014; LeCun et al., 2015; He et al. 2016) se ha podido observar un buen número de publicaciones mostrando su utilidad en el campo de la medicina (Pereira et al. 2016; Korkontzelos et al., 2016; Cocos et al., 2017; Serban et al. 2019; Fan et al. 2020). Sin embargo, en los últimos años se ha enfatizado el empleo de modelos basados en Transformers (Vaswani et al. 2017) dado su extensivo uso y demostrada eficacia en la resolución de tareas clásicas de Aprendizaje Automático y, en particular, en el área de la salud (Sánchez Fernández et al. 2020; Dong et al. 2021; Chizhikova et al. 2022; Devaguptam et al. 2022).

En (Lee et al. 2020) los autores trabajaron con la hipótesis de que la representación bidireccional de los transformers que utiliza BERT es fundamental en tareas de minería de textos biomédicos. Así, propusieron un modelo denominado BioBERT que hereda las características de BERT (en su versión BASE) y realizaron la adaptación del dominio con textos médicos específicos extraídos de PubMed (aproximadamente 18 billones de palabras). Se utilizaron los mismos hyperparámetros del modelo base en el re-entrenamiento. Para evaluar el modelo, se realizó él fine-tuning de BioBERT en tres tareas: reconocimiento de entidades nombradas, extracción de relaciones y preguntas-respuestas. Los resultados demostraron que BioBERT supera entre el 1 y él 12% la medida F obtenida con el modelo BERT sin re-entrenamiento específico, según la tarea seleccionada.

Siguiendo la idea ya expresada por los autores de BioBERT de que los textos médicos difieren bastante de los textos con los que se entrenan los grandes modelos de lenguajes, los autores de ClinicalBERT (Alsentzer et al. 2019; Yan & Pei, 2022) propusieron un modelo que aprende a representar textos clínicos de forma tal que el descubrimiento de enfermedades o de relaciones entre tratamiento y resultados del mismo sean eficientemente resueltas. Los autores utilizaron la versión base de BERT para reentrenar con textos de registros médicos extraídos del corpus MIMIC-III (aprox. 2 millones de notas clínicas). Se emplearon los hiperparámetros por defecto del modelo y se evaluó ClinicalBERT en la tarea de predecir la readmisión de pacientes en el hospital. Los resultados demostraron mejorar en un 10% la métrica AUC en la predicción de readmisión de pacientes con respecto a BERT base.

En (Ramsay et al. 2021) presentaron Med-BERT, un modelo con la misma arquitectura de transformers bidireccionales utilizada en el paper original de BERT y la misma técnica de pre-entrenamiento, es decir, la misma función de pérdida para el enmascarado y pasos para la actualización de los parámetros. Med-BERT fue propuesto para aprender información a partir de grandes volúmenes de datos de registros electrónicos de salud (EHR)1 y predecir enfermedades. El modelo Med-BERT fue entrenado con los códigos internacionales de clasificación de enfermedades (ICD-9 y ICD-10), y con más de 28 millones de EHR extraídas del corpus Cerner Health Facts® (versión 2017). Debido a las diferencias del formato de los datos de entrada (textos libres en BERT, EHR con códigos en Med-BERT) los tokens [CLS] y [SEP] no se utilizaron en la capa de entrada. Otra diferencia entre ambos modelos es que Med-BERT no utiliza la tarea de Next Sentence Prediction y por ello no necesita separar 2 sentencias de entrada (con [SEP]). Como Med-BERT utiliza registros textuales largos completos, no necesita “resumir” información en el token [CLS] para la clasificación, pero se agregó una capa feed-forward (FFL) en la salida de la capa inicial para clasificar la secuencia de entrada. Se utilizaron similares hiperparámetros que BERT durante la fase de pre-entrenamiento. El nuevo modelo fue evaluado haciendo un fine-tuning en dos tareas específicas: la predicción de fallas cardíacas en pacientes con diabetes y la predicción de cáncer de páncreas usando dos bases de datos conocidas. Los resultados fueron prometedores, se obtuvo una mejora del 20% de AUC con el modelo Med-BERT en comparación a otros dos modelos BERT más generales aplicados al mismo dominio y tarea.

Más recientemente, (Ji et al. 2022) propusieron MentalBERT (junto a la variante MentalRoBERTa), los primeros modelos específicamente entrenados para resolver problemáticas relacionadas a la salud mental. MentalBERT y MentalRoBERTa fueron entrenados siguiendo los protocolos del framework de los Transformer de Huggingface y se utilizaron las versiones base de BERT y RoBERTa respectivamente. Los autores utilizaron el esquema de pre-entrenamiento adaptativo para continuar el entrenamiento de los modelos base en el dominio específico. Utilizaron más de 13 millones de oraciones seleccionadas de Reddit para el entrenamiento. Compararon las dos versiones de su propuesta con los modelos base de Transformers, BioBERT y ClinicalBERT para la identificación de estrés, anorexia y suicidio. Los resultados indicaron un incremento de la medida F1 en la mayoría de las tareas con respecto a los modelos previamente publicados.

Nótese que los escasos modelos de lenguajes entrenados con textos médicos consideran el idioma inglés, siendo muy limitada la cantidad de modelos (en general) que usan el idioma español. La versión multilenguaje de BERT, conocida como Multilingual BERT (Devlin et al. 2019), y del modelo RoBERTa, denominada XLM-RoBERTa (Conneau et al., 2020) incluyen el español en los textos que se utilizaron para el pre-entrenamiento. En el caso de Multilingual BERT está entrenado en 104 lenguajes con la Wikipedia completa en cada idioma. XLM-RoBERTa considera el español dentro de los más de 100 lenguajes que se usaron en el pre-entrenamiento con datos del corpus CommonCrawl. Por otro lado, BETO (Cañete et al. 2020) fue el primer modelo de lenguaje basado en la arquitectura de BERT pero entrenado enteramente con un corpus de gran tamaño en idioma español. El corpus lo constituyen textos en español de diferentes fuentes: Wikipedia, periódicos de las Naciones Unidas, conferencias TED, subtítulos, noticias, historias, etc. El tamaño del corpus utilizado para entrenar BETO se asemeja al utilizado para entrenar BERT, es decir, alrededor de 3 billones de palabras. Recientemente, fue presentado RoBERTuito (Perez et al 2022), con la arquitectura base de RoBERTa pero entrenado con 500 millones de tweets en español y utilizando la configuración de hiperparámetros sugerida por su modelo base.

Como se puede observar en los trabajos analizados, existe una tendencia al enriquecimiento y/o re-entrenamiento de los grandes modelos de lenguaje basados en Transformers con textos específicos del dominio médico considerado. Estos trabajos, se restringen al idioma inglés existiendo para el español solamente modelos aprendidos sobre textos generales en este idioma. Por otra parte, estos grandes modelos profundos, son usualmente aprendidos con grandes colecciones de textos estáticas y poco énfasis se pone en un entrenamiento continuo que permita ir incorporando nuevas fuentes de información de una manera flexible y escalable. La necesidad de este tipo de flexibilidad va quedando también de manifiesto en nuevos enfoques de entrenamiento que buscan incorporar conocimiento externo adicional en el proceso de aprendizaje (Yu et al. 2020) o para verificar que los grandes modelos aprendidos con Transformers generativos no estén generando información errónea (Peng et al. 2023). Con este trabajo de tesis, trataremos de contribuir en esta dirección, solucionando y/o atenuando algunas de las dificultades que surgen para cumplir estos objetivos.

Enfoques de Procesamiento de Datos

Como se comentó anteriormente, existen diferentes plataformas paralelas y distribuidas como cloud, clusters, basadas en SoC, etc. Por otro lado, existen enfoques de procesamiento de datos que pueden ser utilizados sobre dichas plataformas para mejorar el rendimiento de los modelos que se desean evaluar. El enfoque de map-reduce (https://static.googleusercontent.com/media/research.google.com/es//archive/mapreduce-osdi04.pdf ) fue propuesto por Google como una forma de distribuir las tareas computacionales que corren sobre grandes datasets. Permite a usuarios que no son expertos en sistemas en computación paralela, procesar grandes volúmenes de datos de una forma simple. Tiene una abstracción de programación que contiene patrones de cómputo y comunicación bien definidos. Existen diferentes tecnologías que implementan este enfoque como Hadoop, AppEngine-MapReduce del Google App Engine platform y Amazon Elastic MapReduce. En particular, Hadoop provee facilidades para administrar un sistema de archivos distribuidos, y hace que los detalles de programación paralela y distribuida sean transparentes para el usuario. Hadoop también provee facilidades para el auto-escalado de tareas, replicación, entre otros, cómo también diferentes factores como I/O, esquemas de indexación, parseo y agrupación afectan el rendimiento de Hadoop. Hadoop permite trabajar con varios formatos de archivos, los cuales se pueden llamar “spliteables” y permite dividirlos y distribuirlos en el cluster. Entre ellos se encuentra AVRO, PARQUET, OCR, SEQ FILe, CSV y Texto. Posteriormente, llega al mercado otro producto llamado Apache Spark que usa la idea original de Hadoop y la mejora, (http://sedici.unlp.edu.ar/handle/10915/126780 ). Apache Spark es un motor informático unificado y un conjunto de librerías utilizadas para el procesamiento paralelo de datos en clústeres informáticos. Apache Spark es el motor de código abierto más activamente desarrollado, lo cual lo convierte en una herramienta estándar para cualquier desarrollador o científico de datos interesado en datos de gran tamaño. Bartolini y Patella, (2017), la definen en los siguientes términos:

Apache Spark Streaming Apache Spark (spark.apache.org) is an open-source platform, originally developed at the University of California, Berkeley’s AMPLab. The main idea of Spark is that of storing data into a so-called Resilient Distributed Dataset (RDD), which represents a read-only fault-tolerant collection of (Python, Java, or Scala) objects partitioned across a set of machines that can be stored in the main memory. RDDs are immutable and their operations are lazy. The “lineage” of every RDD, i.e., the sequence of operations that produced it, is kept so that it can be rebuilt in case of failures, thus guaranteeing fault tolerance. Every Spark application is therefore a sequence of operations on such RDDs, with the goal of producing the desired final result. (p. 2).

Apache Spark soporta múltiples lenguajes de programación utilizados de manera masiva (ej. Python, Java, Scala y R), incluye bibliotecas para diversas tareas que van desde SQL hasta flujos y aprendizaje automático. Puede ejecutarse desde cualquier lugar, ya sea desde una computadora portátil hasta un grupo de miles de servidores. Esto hace que sea un sistema fácil de iniciar y escalar para lograr procesar grandes volúmenes de datos o a una escala increíblemente grande, y es considerado como una evolución de Apache Hadoop debido a que permite procesar los datos y los mantiene en la memoria, como así los siguientes pasos a realizar sobre ellos, lo cual lo hace extremadamente más rápido que apache Hadoop que los mantiene en disco. Por lo tanto, apache Spark reduce el costo de I/O de forma sustancial y de esta manera es considerado 100 veces más rápido que apache Hadoop (https://www.esic.edu/rethink/tecnologia/spark-vs-hadoop-cual-es-mejor ).

Respecto al modo procesamiento de datos en Streaming, se puede decir que este enfoque está orientado a procesar datos en forma continua, lo que conlleva que la fuente de datos no es finita y los datos están fluyendo a todo momento, lo cual permite capturar mucha información en segundos. Para este fin existen muchos frameworks que permiten manejar el streaming de datos entre ellos podemos citar (http://sedici.unlp.edu.ar/handle/10915/126780 ). Apache Flink que es considerado el más importante, según (Hueske, 2019), es un framework de código abierto para computación distribuida que permite el desarrollo de aplicaciones para el procesamiento de flujos de datos. La herramienta está creciendo con el apoyo de la comunidad, siendo uno de los motores de stream más sofisticados. De acuerdo con Deshpande, (2017) Flink impulsa aplicaciones comerciales a gran escala en empresas de diferentes industrias en todo el mundo. Inubi et al., (2018), lo define en los siguientes términos:

Flink is an open-source framework for processing data in both real-time mode and batch mode. It provides several benefits such as fault-tolerant and large-scale computation. The programming model of Flink is similar to MapReduce. By contrast to MapReduce, Flink o↵ers additional high-level functions such as join, filter, and aggregation. Flink allows iterative processing and real-time computation on stream data collected by different tools such as Flume and Kafka. It o↵ers several APIs on a more abstract level allowing the user to launch distributed computation in a transparent and easy way. Flink ML is a machine learning library that provides a wide range of learning algorithms to create fast and scalable Big Data applications. (p. 6).

En la actualidad, existe un enfoque híbrido denominado arquitectura Lambda. La arquitectura Lambda describe un sistema que consta de tres capas: procesamiento por lotes, procesamiento de velocidad (o en tiempo real) y una capa de servicio para responder a las consultas (Marz y Warren, 2013). Las capas de procesamiento consumen de una copia maestra inmutable de todo el conjunto de datos. Este enfoque fue descrito por primera vez por Nathan Marz en una publicación de blog titulada “Cómo superar el teorema CAP ” en el que originalmente lo denominó “arquitectura por lotes/en tiempo real” (http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html). Sin embargo, este enfoque no incluye una capa para los modelos a entrenar.

Esta idea converge en un desarrollo doctoral que se orientara al proposito de una plataforma distribuída y paralela para la recolección y procesamiento de datos que se utilizarán para el entrenamiento de grandes modelos de lenguajes en el contexto de análisis de trastornos mentales, en particular, considerando el idioma español. Texto en formato electrónico con historias clínicas, notas relacionadas a admisiones de pacientes en centros de salud, resultados de laboratorios u otros estudios, etc. este articulo oculta los detalles de implementacion de mi tesis que resuelve este problema con una solucion de bajo coste.