Revolut presenta PRAGMA, un modelo fundacional con codificador preentrenado con datos bancarios a gran escala

La plataforma de banca digital Revolut ha presentado PRAGMA, un modelo fundacional preentrenado con datos de transacciones financieras. El modelo procesa historiales bancarios de múltiples fuentes mediante una arquitectura de codificador y se entrena con técnicas de modelado enmascarado aplicadas a registros financieros a gran escala.

Aparición de modelos fundacionales específicos para finanzas

A diferencia de los modelos de lenguaje o de visión de propósito general, PRAGMA es un modelo fundacional específico de dominio, adaptado a los registros de transacciones financieras. Se informa que Revolut utilizó como datos de entrenamiento historiales de transacciones, actividades de cuenta y patrones de pago generados en su plataforma. La arquitectura de tipo codificador se centra en aprender representaciones de los datos de entrada, una estructura adecuada para tareas posteriores como clasificación, detección de anomalías y análisis de segmentación de usuarios.

El modelado enmascarado se ha utilizado ampliamente en el procesamiento del lenguaje natural. La técnica consiste en enmascarar partes de una secuencia de entrada y entrenar al modelo para predecir los elementos enmascarados, lo que ayuda a captar patrones e información contextual en los datos. Aplicado a datos de transacciones financieras, este enfoque puede ayudar al modelo a aprender hábitos de gasto, momentos de las transacciones y relaciones entre categorías.

Contexto operativo en la IA de servicios financieros

Las instituciones financieras han utilizado durante mucho tiempo el aprendizaje automático para tareas como la detección de anomalías, la calificación crediticia, las recomendaciones personalizadas y la predicción de abandono de clientes. Los enfoques tradicionales suelen depender de modelos individuales diseñados para tareas específicas. El enfoque de modelo fundacional permite reutilizar un único modelo preentrenado a gran escala en múltiples tareas, lo que puede mejorar la eficiencia del desarrollo y la coherencia.

Revolut, fundada en 2015, ha crecido en Europa y más allá, y atendía a decenas de millones de usuarios en todo el mundo a partir de 2024. Una base de usuarios de esta escala puede ayudar a proporcionar los conjuntos de datos a gran escala necesarios para el entrenamiento de modelos fundacionales. Dado que los datos financieros son difíciles de compartir externamente por su sensibilidad y por los requisitos regulatorios, las instituciones con datos propios pueden estar bien posicionadas para desarrollar modelos específicos de dominio.

La referencia a historiales de usuarios de múltiples fuentes sugiere que PRAGMA puede integrar y procesar múltiples flujos de datos más allá de los simples registros de transacciones, incluidos tipos de cuenta, patrones de uso de tarjetas, historiales de transferencias y registros de cambio de divisas. Esta capacidad puede respaldar una comprensión más completa del comportamiento financiero de los usuarios y podría ofrecer una mejor generalización que los modelos que dependen de una sola fuente de datos.

Arquitectura técnica y metodología de entrenamiento

Los modelos codificadores se especializan en transformar secuencias de entrada en representaciones vectoriales de longitud fija. Estas representaciones sirven de base para tareas como la elaboración de perfiles de usuario, la evaluación de riesgos y la predicción de comportamiento. A diferencia de los modelos generativos centrados en el decodificador, los modelos codificadores se enfocan en aprender la estructura semántica de los datos de entrada en forma comprimida.

El modelado enmascarado es una forma de aprendizaje autosupervisado que permite aprender representaciones a partir de grandes volúmenes de datos no etiquetados. Al enmascarar transacciones específicas en una secuencia financiera y entrenar al modelo para reconstruirlas a partir del contexto circundante, el modelo puede aprender dependencias temporales entre transacciones, patrones de importes y reglas de transición entre categorías. Esta es una forma de captar características estructurales de los datos sin etiquetas explícitas.

El preentrenamiento con registros financieros a gran escala requiere una capacidad de cómputo e infraestructura considerables, pero las representaciones aprendidas pueden aplicarse a múltiples tareas posteriores mediante aprendizaje por transferencia. Este enfoque puede ofrecer ventajas en eficiencia de datos y rendimiento frente al entrenamiento de modelos desde cero para cada tarea. El valor de las representaciones preentrenadas es especialmente notable en tareas en las que los datos etiquetados son limitados.

Panorama competitivo e implicaciones estratégicas

Las principales instituciones financieras también están invirtiendo en capacidades propias de IA. JPMorgan ha impulsado el desarrollo de modelos de lenguaje específicos para finanzas, y Bloomberg lanzó BloombergGPT. Las empresas de tecnología financiera también están desarrollando modelos específicos de dominio utilizando ventajas de datos. PRAGMA refleja la estrategia tecnológica de Revolut dentro de este panorama más amplio.

Aunque el enfoque de modelo fundacional exige altos costos de desarrollo y requisitos de infraestructura, una implementación exitosa puede generar un activo reutilizable de aprendizaje de representaciones aplicable a múltiples tareas. Si Revolut utiliza PRAGMA para respaldar una mejor detección de anomalías, personalización o eficiencia operativa, el modelo podría convertirse en parte de su pila interna de IA.

Dada la dificultad de compartir datos externamente por la naturaleza de la información financiera, las empresas con datos generados en sus propias plataformas pueden tener ventajas en el desarrollo de modelos. Esto puede reforzar los efectos de red de datos, creando un ciclo en el que bases de usuarios más amplias contribuyen a la calidad del modelo. PRAGMA puede considerarse un ejemplo de cómo la escala de usuarios se aplica al desarrollo de modelos.

Incertidumbre y limitaciones

La información disponible públicamente no revela el tamaño específico del modelo PRAGMA, la escala de los datos de entrenamiento, los indicadores de rendimiento ni los planes de despliegue. Aunque el trabajo parece haber sido presentado en forma de artículo, la integración en servicios comerciales o los planes de lanzamiento externo no están especificados. Dada la sensibilidad de los datos financieros, parece poco probable una publicación de código abierto del modelo o de los datos de entrenamiento.

Los entornos regulatorios financieros imponen requisitos estrictos sobre el uso de modelos de IA. En Europa, regulaciones como el RGPD y marcos como la Ley de IA influyen en el desarrollo y el despliegue de modelos. En Estados Unidos, las normas de protección del consumidor financiero y los requisitos de préstamo justo pueden afectar la explicabilidad y la gestión de sesgos en los modelos de IA. Para que PRAGMA se integre en los servicios financieros, tendría que cumplir estos requisitos regulatorios.

Dadas las características de los modelos codificadores, PRAGMA es más adecuado para tareas de análisis y predicción que para tareas generativas. Los casos de uso que impliquen interacción con clientes o generación de contenido pueden requerir modelos decodificadores o generativos separados. Por tanto, PRAGMA debe entenderse mejor como un componente que cumple una función específica dentro de la infraestructura de IA de Revolut.

El rendimiento del modelo depende en gran medida de la calidad y diversidad de los datos de entrenamiento. Si la base de usuarios de Revolut está concentrada en regiones o grupos demográficos específicos, la capacidad de generalización del modelo puede ser limitada. Además, los patrones de comportamiento financiero cambian con las condiciones económicas, los cambios regulatorios y los avances tecnológicos, lo que puede requerir actualizaciones y reentrenamientos continuos.