Revolut apresenta PRAGMA, modelo de base com codificador pré-treinado em dados bancários em larga escala

A plataforma de banco digital Revolut apresentou o PRAGMA, um modelo de base pré-treinado com dados de transações financeiras. O modelo processa históricos bancários de múltiplas fontes por meio de uma arquitetura de codificador e é treinado com técnicas de modelagem mascarada aplicadas a registros financeiros em larga escala.

Emergência de modelos de base específicos para finanças

Ao contrário de modelos de linguagem ou de visão de uso geral, o PRAGMA é um modelo de base específico de domínio, voltado para registros de transações financeiras. A Revolut teria utilizado históricos de transações, atividades de conta e padrões de pagamento gerados em sua plataforma como dados de treinamento. A arquitetura em estilo codificador se concentra em aprender representações dos dados de entrada, uma estrutura adequada para tarefas posteriores, como classificação, detecção de anomalias e análise de segmentação de usuários.

A modelagem mascarada tem sido amplamente utilizada no processamento de linguagem natural. A técnica consiste em mascarar partes de uma sequência de entrada e treinar o modelo para prever os elementos mascarados, ajudando a capturar padrões e informações contextuais nos dados. Aplicada a dados de transações financeiras, essa abordagem pode ajudar o modelo a aprender hábitos de consumo, horários de transação e relações entre categorias.

Contexto operacional em IA para serviços financeiros

Instituições financeiras há muito utilizam aprendizado de máquina para tarefas como detecção de anomalias, análise de crédito, recomendações personalizadas e previsão de evasão de clientes. As abordagens tradicionais frequentemente dependem de modelos individuais projetados para tarefas específicas. A abordagem de modelo de base permite que um único modelo pré-treinado em larga escala seja reutilizado em várias tarefas, o que pode melhorar a eficiência de desenvolvimento e a consistência.

A Revolut, fundada em 2015, expandiu-se pela Europa e além, atendendo dezenas de milhões de usuários em todo o mundo em 2024. Uma base de usuários dessa escala pode ajudar a fornecer os conjuntos de dados em larga escala necessários para o treinamento de modelos de base. Como os dados financeiros são difíceis de compartilhar externamente devido à sensibilidade e a requisitos regulatórios, instituições com dados proprietários podem estar bem posicionadas para desenvolver modelos específicos de domínio.

A referência a históricos de usuários de múltiplas fontes sugere que o PRAGMA pode integrar e processar vários fluxos de dados além de simples registros de transações, incluindo tipos de conta, padrões de uso de cartão, históricos de transferências e registros de câmbio. Essa capacidade pode apoiar uma compreensão mais abrangente do comportamento financeiro do usuário e pode oferecer melhor generalização do que modelos que dependem de uma única fonte de dados.

Arquitetura técnica e metodologia de treinamento

Modelos codificadores são especializados em transformar sequências de entrada em representações vetoriais de comprimento fixo. Essas representações servem de base para tarefas como perfilamento de usuários, avaliação de risco e previsão de comportamento. Diferentemente dos modelos generativos centrados em decodificadores, os modelos codificadores se concentram em aprender a estrutura semântica dos dados de entrada em forma comprimida.

A modelagem mascarada é uma forma de aprendizado autossupervisionado que permite o aprendizado de representações a partir de grandes volumes de dados sem rótulos. Ao mascarar transações específicas em uma sequência financeira e treinar o modelo para reconstruí-las a partir do contexto ao redor, o modelo pode aprender dependências temporais entre transações, padrões de valores e regras de transição entre categorias. Trata-se de uma forma de capturar características estruturais dos dados sem rótulos explícitos.

O pré-treinamento em registros financeiros em larga escala exige computação e infraestrutura substanciais, mas as representações aprendidas podem ser aplicadas a múltiplas tarefas posteriores por meio de aprendizado por transferência. Essa abordagem pode oferecer vantagens em eficiência de dados e desempenho em comparação com o treinamento de modelos do zero para cada tarefa. O valor das representações pré-treinadas é especialmente relevante em tarefas nas quais os dados rotulados são limitados.

Panorama competitivo e implicações estratégicas

Grandes instituições financeiras também estão investindo em capacidades proprietárias de IA. O JPMorgan tem buscado desenvolver modelos de linguagem específicos para finanças, e a Bloomberg lançou o BloombergGPT. Empresas de fintech também estão desenvolvendo modelos específicos de domínio com base em vantagens de dados. O PRAGMA reflete a estratégia tecnológica da Revolut dentro desse cenário mais amplo.

Embora a abordagem de modelo de base exija altos custos de desenvolvimento e requisitos de infraestrutura, uma implementação bem-sucedida pode gerar um ativo reutilizável de aprendizado de representações aplicável a múltiplas tarefas. Se a Revolut usar o PRAGMA para apoiar melhor detecção de anomalias, personalização ou eficiência operacional, o modelo poderá se tornar parte de sua pilha interna de IA.

Dada a dificuldade de compartilhamento externo de dados em razão da natureza dos dados financeiros, empresas com dados gerados em suas próprias plataformas podem ter vantagens no desenvolvimento de modelos. Isso pode reforçar efeitos de rede de dados, criando um ciclo em que bases de usuários maiores contribuem para a qualidade do modelo. O PRAGMA pode ser visto como um exemplo de escala de usuários aplicada ao desenvolvimento de modelos.

Incertezas e restrições

As informações publicamente disponíveis não revelam o tamanho específico do modelo PRAGMA, a escala dos dados de treinamento, os benchmarks de desempenho ou os planos de implantação. Embora o trabalho pareça ter sido apresentado em formato de artigo, a integração em serviços comerciais ou planos de lançamento externo permanecem não especificados. Dada a sensibilidade dos dados financeiros, a liberação em código aberto do modelo ou dos dados de treinamento parece improvável.

Os ambientes regulatórios financeiros impõem requisitos rigorosos ao uso de modelos de IA. Na Europa, regulações como o GDPR e estruturas como o AI Act influenciam o desenvolvimento e a implantação de modelos. Nos Estados Unidos, regras de proteção ao consumidor financeiro e exigências de concessão justa de crédito podem afetar a explicabilidade e o gerenciamento de vieses em modelos de IA. Para que o PRAGMA seja integrado a serviços financeiros, ele precisaria atender a esses requisitos regulatórios.

Dadas as características dos modelos codificadores, o PRAGMA é mais adequado para tarefas de análise e previsão do que para tarefas generativas. Casos de uso envolvendo interação com clientes ou geração de conteúdo podem exigir modelos decodificadores ou generativos separados. O PRAGMA, portanto, deve ser entendido como um componente que cumpre uma função específica dentro da infraestrutura de IA da Revolut.

O desempenho do modelo depende fortemente da qualidade e da diversidade dos dados de treinamento. Se a base de usuários da Revolut estiver concentrada em regiões ou grupos demográficos específicos, a capacidade de generalização do modelo pode ser limitada. Além disso, os padrões de comportamento financeiro mudam com as condições econômicas, mudanças regulatórias e avanços tecnológicos, o que pode exigir atualizações e retreinamento contínuos.