Revolut présente PRAGMA, un modèle fondation à encodeur préentraîné sur des données bancaires à grande échelle

La plateforme bancaire numérique Revolut a présenté PRAGMA, un modèle fondation préentraîné sur des données de transactions financières. Le modèle traite des historiques d’utilisateurs bancaires provenant de sources multiples au moyen d’une architecture d’encodeur et est entraîné à l’aide de techniques de modélisation masquée appliquées à des enregistrements financiers à grande échelle.

Émergence de modèles fondation spécifiques à la finance

Contrairement aux modèles généraux de langage ou de vision, PRAGMA est un modèle fondation spécifique à un domaine, conçu pour les enregistrements de transactions financières. Il est indiqué que Revolut a utilisé comme données d’entraînement des historiques de transactions, des activités de compte et des schémas de paiement générés sur sa plateforme. L’architecture de type encodeur se concentre sur l’apprentissage de représentations des données d’entrée, une structure bien adaptée à des tâches en aval telles que la classification, la détection d’anomalies et l’analyse de segmentation des utilisateurs.

La modélisation masquée est largement utilisée en traitement automatique du langage naturel. Cette technique consiste à masquer des portions d’une séquence d’entrée et à entraîner le modèle à prédire les éléments masqués, ce qui aide à capturer les schémas et les informations contextuelles présents dans les données. Appliquée à des données de transactions financières, cette approche peut aider le modèle à apprendre les habitudes de dépense, le moment des transactions et les relations entre catégories.

Contexte opérationnel de l’IA dans les services financiers

Les institutions financières utilisent depuis longtemps l’apprentissage automatique pour des tâches telles que la détection d’anomalies, la notation de crédit, les recommandations personnalisées et la prédiction de l’attrition des clients. Les approches traditionnelles reposent souvent sur des modèles individuels conçus pour des tâches spécifiques. L’approche par modèle fondation permet de réutiliser un seul modèle préentraîné à grande échelle sur plusieurs tâches, ce qui peut améliorer l’efficacité du développement et la cohérence.

Fondée en 2015, Revolut s’est développée en Europe et au-delà, et servait des dizaines de millions d’utilisateurs dans le monde en 2024. Une base d’utilisateurs de cette ampleur peut contribuer à fournir les ensembles de données à grande échelle nécessaires à l’entraînement d’un modèle fondation. Comme les données financières sont difficiles à partager à l’extérieur en raison de leur sensibilité et des exigences réglementaires, les institutions disposant de données propriétaires peuvent être bien placées pour développer des modèles spécifiques à un domaine.

La référence à des historiques d’utilisateurs provenant de sources multiples suggère que PRAGMA peut intégrer et traiter plusieurs flux de données au-delà des simples enregistrements de transactions, notamment les types de comptes, les schémas d’utilisation des cartes, les historiques de transferts et les enregistrements de change. Cette capacité peut soutenir une compréhension plus complète du comportement financier des utilisateurs et offrir une meilleure généralisation que des modèles reposant sur une seule source de données.

Architecture technique et méthodologie d’entraînement

Les modèles encodeurs se spécialisent dans la transformation de séquences d’entrée en représentations vectorielles de longueur fixe. Ces représentations servent de base à des tâches telles que le profilage des utilisateurs, l’évaluation des risques et la prédiction des comportements. Contrairement aux modèles génératifs centrés sur le décodeur, les modèles encodeurs se concentrent sur l’apprentissage de la structure sémantique des données d’entrée sous forme compressée.

La modélisation masquée est une forme d’apprentissage auto-supervisé qui permet l’apprentissage de représentations à partir de grandes quantités de données non étiquetées. En masquant certaines transactions dans une séquence financière et en entraînant le modèle à les reconstruire à partir du contexte environnant, le modèle peut apprendre les dépendances temporelles entre transactions, les schémas de montants et les règles de transition entre catégories. Il s’agit d’une manière de capturer les caractéristiques structurelles des données sans étiquettes explicites.

Le préentraînement sur des enregistrements financiers à grande échelle exige des capacités de calcul et une infrastructure importantes, mais les représentations apprises peuvent être appliquées à plusieurs tâches en aval par transfert d’apprentissage. Cette approche peut offrir des avantages en matière d’efficacité des données et de performance par rapport à l’entraînement de modèles à partir de zéro pour chaque tâche. La valeur des représentations préentraînées est particulièrement notable dans les tâches où les données étiquetées sont limitées.

Paysage concurrentiel et implications stratégiques

Les grandes institutions financières investissent également dans des capacités d’IA propriétaires. JPMorgan a poursuivi le développement de modèles de langage spécifiques à la finance, et Bloomberg a publié BloombergGPT. Les entreprises de fintech développent elles aussi des modèles spécifiques à un domaine en s’appuyant sur leurs avantages en matière de données. PRAGMA reflète la stratégie technologique de Revolut dans ce paysage plus large.

Bien que l’approche par modèle fondation exige des coûts de développement élevés et des besoins importants en infrastructure, une mise en œuvre réussie peut produire un actif réutilisable d’apprentissage de représentations applicable à plusieurs tâches. Si Revolut utilise PRAGMA pour améliorer la détection d’anomalies, la personnalisation ou l’efficacité opérationnelle, le modèle pourrait devenir un élément de sa pile interne d’IA.

Compte tenu de la difficulté du partage externe des données en raison de la nature des données financières, les entreprises disposant de données générées sur leurs propres plateformes peuvent avoir des avantages dans le développement de modèles. Cela peut renforcer les effets de réseau liés aux données, en créant un cycle dans lequel des bases d’utilisateurs plus larges contribuent à la qualité du modèle. PRAGMA peut être considéré comme un exemple de l’utilisation de l’échelle des utilisateurs au service du développement de modèles.

Incertitudes et contraintes

Les informations publiquement disponibles ne révèlent pas la taille spécifique du modèle PRAGMA, l’ampleur des données d’entraînement, les références de performance ni les plans de déploiement. Bien que le travail semble avoir été présenté sous forme d’article, l’intégration dans un service commercial ou les plans de diffusion externe restent non précisés. Compte tenu de la sensibilité des données financières, une publication en open source du modèle ou des données d’entraînement paraît peu probable.

Les environnements réglementaires financiers imposent des exigences strictes à l’utilisation des modèles d’IA. En Europe, des réglementations telles que le RGPD et des cadres comme l’AI Act influencent le développement et le déploiement des modèles. Aux États-Unis, les règles de protection des consommateurs financiers et les exigences en matière de prêt équitable peuvent affecter l’explicabilité et la gestion des biais dans les modèles d’IA. Pour être intégré dans des services financiers, PRAGMA devrait satisfaire à ces exigences réglementaires.

Compte tenu des caractéristiques des modèles encodeurs, PRAGMA est mieux adapté aux tâches d’analyse et de prédiction qu’aux tâches génératives. Les cas d’usage impliquant l’interaction avec les clients ou la génération de contenu peuvent nécessiter des modèles décodeurs ou génératifs distincts. PRAGMA doit donc être compris comme un composant remplissant un rôle spécifique au sein de l’infrastructure d’IA de Revolut.

La performance du modèle dépend fortement de la qualité et de la diversité des données d’entraînement. Si la base d’utilisateurs de Revolut est concentrée dans certaines régions ou certains groupes démographiques, la capacité de généralisation du modèle peut être limitée. En outre, les schémas de comportement financier évoluent avec les conditions économiques, les changements réglementaires et les avancées technologiques, ce qui peut nécessiter des mises à jour et des réentraînements continus.

Implications pour les builders

• Les entreprises disposant de données financières propriétaires peuvent envisager le développement de modèles fondation spécifiques à un domaine. L’échelle et la qualité des données sont des déterminants importants de la performance du modèle, et l’élargissement de la base d’utilisateurs peut contribuer à améliorer la qualité du modèle.
• La combinaison d’une architecture d’encodeur et de la modélisation masquée est efficace pour l’apprentissage à partir de données séquentielles telles que les enregistrements de transactions et les journaux de comportement des utilisateurs, permettant un apprentissage de représentations adapté aux tâches de classification et de prédiction. L’apprentissage auto-supervisé est particulièrement utile lorsque les données étiquetées sont limitées.
• Le déploiement de modèles d’IA financiers nécessite de prendre en compte des réglementations telles que le RGPD, l’AI Act et les règles de protection des consommateurs financiers. Des cadres d’explicabilité et de gestion des biais devraient être envisagés dès la phase de conception initiale. Il est important de mettre en place une infrastructure permettant de suivre et d’auditer les processus de décision du modèle.