Revolut stellt PRAGMA vor, ein Encoder-Basismodell, das auf umfangreichen Bankdaten vortrainiert wurde

Die digitale Banking-Plattform Revolut hat PRAGMA vorgestellt, ein Foundation Model, das auf Finanztransaktionsdaten vortrainiert wurde. Das Modell verarbeitet mehrquellige Banknutzungsverläufe mithilfe einer Encoder-Architektur und wurde mit Masked-Modeling-Verfahren auf großen Finanzdatensätzen trainiert.

Entstehung finanzspezifischer Foundation Models

Anders als allgemeine Sprach- oder Bildmodelle ist PRAGMA ein domänenspezifisches Foundation Model, das auf Finanztransaktionsdaten zugeschnitten ist. Berichten zufolge hat Revolut Transaktionsverläufe, Kontobewegungen und auf seiner Plattform erzeugte Zahlungsmuster als Trainingsdaten verwendet. Die Encoder-Architektur konzentriert sich auf das Lernen von Repräsentationen der Eingabedaten und eignet sich damit für nachgelagerte Aufgaben wie Klassifikation, Anomalieerkennung und Analysen zur Nutzersegmentierung.

Masked Modeling wird in der Verarbeitung natürlicher Sprache seit Langem eingesetzt. Dabei werden Teile einer Eingabesequenz maskiert und das Modell wird darauf trainiert, die maskierten Elemente vorherzusagen, wodurch Muster und Kontextinformationen in den Daten erfasst werden können. Auf Finanztransaktionsdaten angewandt, kann dieser Ansatz dem Modell helfen, Ausgabengewohnheiten, Transaktionszeitpunkte und Beziehungen zwischen Kategorien zu lernen.

Operativer Kontext in der KI für Finanzdienstleistungen

Finanzinstitute setzen maschinelles Lernen seit Langem für Aufgaben wie Anomalieerkennung, Bonitätsbewertung, personalisierte Empfehlungen und die Vorhersage von Kundenabwanderung ein. Traditionelle Ansätze beruhen häufig auf einzelnen Modellen, die für spezifische Aufgaben entwickelt wurden. Der Foundation-Model-Ansatz ermöglicht es, ein einziges groß angelegtes vortrainiertes Modell für mehrere Aufgaben wiederzuverwenden, was die Entwicklungseffizienz und die Konsistenz verbessern kann.

Revolut wurde 2015 gegründet und ist seitdem in Europa und darüber hinaus gewachsen; Stand 2024 bedient das Unternehmen weltweit Dutzende Millionen Nutzer. Eine Nutzerbasis dieser Größenordnung kann dazu beitragen, die für das Training von Foundation Models erforderlichen groß angelegten Datensätze bereitzustellen. Da Finanzdaten aufgrund ihrer Sensibilität und regulatorischer Anforderungen nur schwer extern geteilt werden können, sind Institute mit proprietären Daten unter Umständen gut positioniert, domänenspezifische Modelle zu entwickeln.

Der Verweis auf mehrquellige Nutzerverläufe deutet darauf hin, dass PRAGMA mehrere Datenströme über einfache Transaktionsdaten hinaus integrieren und verarbeiten kann, darunter Kontotypen, Kartenverwendungsmuster, Überweisungsverläufe und Währungsumtauschdaten. Diese Fähigkeit kann ein umfassenderes Verständnis des finanziellen Verhaltens von Nutzern unterstützen und möglicherweise eine bessere Generalisierung als Modelle ermöglichen, die nur auf einer einzelnen Datenquelle beruhen.

Technische Architektur und Trainingsmethodik

Encoder-Modelle sind darauf spezialisiert, Eingabesequenzen in Vektorrepräsentationen fester Länge zu überführen. Diese Repräsentationen dienen als Grundlage für Aufgaben wie Nutzerprofilierung, Risikobewertung und Verhaltensvorhersage. Anders als generative, auf Decoder ausgerichtete Modelle konzentrieren sich Encoder-Modelle darauf, die semantische Struktur der Eingabedaten in komprimierter Form zu lernen.

Masked Modeling ist eine Form des selbstüberwachten Lernens, die Repräsentationslernen aus großen, unlabeled Datenmengen ermöglicht. Indem bestimmte Transaktionen in einer Finanzsequenz maskiert und das Modell darauf trainiert wird, sie aus dem umgebenden Kontext zu rekonstruieren, kann das Modell zeitliche Abhängigkeiten zwischen Transaktionen, Muster bei Beträgen und Regeln für Kategorienwechsel lernen. Auf diese Weise lassen sich strukturelle Eigenschaften von Daten ohne explizite Labels erfassen.

Das Vortraining auf großen Finanzdatensätzen erfordert erhebliche Rechenleistung und Infrastruktur, doch die erlernten Repräsentationen können mittels Transfer Learning auf mehrere nachgelagerte Aufgaben angewendet werden. Dieser Ansatz kann gegenüber dem Training von Modellen von Grund auf für jede einzelne Aufgabe Vorteile bei Dateneffizienz und Leistung bieten. Der Wert vortrainierter Repräsentationen ist insbesondere bei Aufgaben bemerkenswert, in denen nur begrenzt gelabelte Daten verfügbar sind.

Wettbewerbsumfeld und strategische Implikationen

Auch große Finanzinstitute investieren in proprietäre KI-Fähigkeiten. JPMorgan hat die Entwicklung finanzspezifischer Sprachmodelle vorangetrieben, und Bloomberg hat BloombergGPT veröffentlicht. Fintech-Unternehmen entwickeln ebenfalls domänenspezifische Modelle auf Basis ihrer Datenvorteile. PRAGMA spiegelt Revoluts Technologiestrategie innerhalb dieses breiteren Umfelds wider.

Während der Foundation-Model-Ansatz hohe Entwicklungs- und Infrastrukturkosten erfordert, kann eine erfolgreiche Umsetzung einen wiederverwendbaren Repräsentationslern-Asset hervorbringen, der auf mehrere Aufgaben anwendbar ist. Wenn Revolut PRAGMA zur Unterstützung verbesserter Anomalieerkennung, Personalisierung oder operativer Effizienz einsetzt, könnte das Modell Teil des internen KI-Stacks des Unternehmens werden.

Angesichts der Schwierigkeit des externen Datenaustauschs aufgrund der Natur von Finanzdaten können Unternehmen mit auf ihren eigenen Plattformen erzeugten Daten Vorteile bei der Modellentwicklung haben. Dies kann Datennetzwerkeffekte verstärken und einen Kreislauf schaffen, in dem größere Nutzerbasen zur Modellqualität beitragen. PRAGMA kann als Beispiel dafür betrachtet werden, wie Nutzergröße für die Modellentwicklung genutzt wird.

Unsicherheiten und Einschränkungen

Öffentlich verfügbare Informationen legen weder die konkrete Modellgröße von PRAGMA noch den Umfang der Trainingsdaten, Leistungsbenchmarks oder Einsatzpläne offen. Zwar scheint die Arbeit in Form eines Papers präsentiert worden zu sein, doch eine kommerzielle Integration in Dienste oder Pläne für eine externe Veröffentlichung sind nicht spezifiziert. Angesichts der Sensibilität von Finanzdaten erscheint eine Open-Source-Veröffentlichung des Modells oder der Trainingsdaten unwahrscheinlich.

Finanzielle Regulierungsumfelder stellen strenge Anforderungen an den Einsatz von KI-Modellen. In Europa beeinflussen Vorschriften wie die DSGVO und Rahmenwerke wie der AI Act die Entwicklung und Bereitstellung von Modellen. In den Vereinigten Staaten können Regeln zum Verbraucherschutz im Finanzbereich und Anforderungen an faire Kreditvergabe die Erklärbarkeit und das Bias-Management in KI-Modellen beeinflussen. Damit PRAGMA in Finanzdienstleistungen integriert werden kann, müsste es diese regulatorischen Anforderungen erfüllen.

Aufgrund der Eigenschaften von Encoder-Modellen eignet sich PRAGMA eher für Analyse- und Vorhersageaufgaben als für generative Aufgaben. Anwendungsfälle mit Kundeninteraktion oder Inhaltserzeugung können separate Decoder- oder generative Modelle erfordern. PRAGMA ist daher am besten als eine Komponente zu verstehen, die innerhalb von Revoluts KI-Infrastruktur eine spezifische Rolle erfüllt.

Die Modellleistung hängt stark von der Qualität und Vielfalt der Trainingsdaten ab. Wenn Revoluts Nutzerbasis auf bestimmte Regionen oder demografische Gruppen konzentriert ist, kann die Generalisierungsfähigkeit des Modells eingeschränkt sein. Zudem verändern sich finanzielle Verhaltensmuster mit wirtschaftlichen Bedingungen, regulatorischen Verschiebungen und technologischen Fortschritten, was laufende Aktualisierungen und erneutes Training erforderlich machen kann.