Revolut 公布 PRAGMA：以大規模銀行資料預訓練的編碼器基礎模型

數位銀行平台 Revolut 已推出 PRAGMA，這是一款以金融交易資料預訓練的基礎模型。該模型採用編碼器架構處理多來源的銀行使用者歷史資料，並以遮罩式建模技術在大規模金融紀錄上進行訓練。

金融專用基礎模型的出現

與通用語言模型或視覺模型不同，PRAGMA 是一款針對金融交易紀錄量身打造的領域專用基礎模型。據報導，Revolut 使用其平台上產生的交易歷史、帳戶活動與支付模式作為訓練資料。編碼器式架構著重於學習輸入資料的表徵，這種結構適合分類、異常偵測與使用者分群分析等下游任務。

遮罩式建模已廣泛應用於自然語言處理。此技術會遮蔽輸入序列的部分內容，並訓練模型預測被遮蔽的元素，以協助捕捉資料中的模式與上下文資訊。若將其應用於金融交易資料，這種方法可幫助模型學習消費習慣、交易時間分布，以及不同類別之間的關聯。

金融服務 AI 的營運脈絡

金融機構長期以來已將機器學習用於異常偵測、信用評分、個人化推薦與客戶流失預測等任務。傳統方法往往依賴為特定任務設計的單一模型。基礎模型方法則允許一個大規模預訓練模型在多項任務中重複使用，從而提升開發效率與一致性。

Revolut 成立於 2015 年，之後在歐洲及其他地區持續擴張，截至 2024 年已服務全球數千萬名使用者。如此規模的使用者基礎，有助於提供基礎模型訓練所需的大型資料集。由於金融資料因敏感性與監管要求而難以對外分享，擁有專有資料的機構可能更有條件開發領域專用模型。

「多來源使用者歷史」的說法顯示，PRAGMA 不僅能整合處理單純的交易紀錄，還可能涵蓋帳戶類型、卡片使用模式、轉帳歷史與外匯兌換紀錄等多種資料流。這項能力有助於更全面地理解使用者的金融行為，且相較於僅依賴單一資料來源的模型，可能具有更好的泛化能力。

技術架構與訓練方法

編碼器模型專長於將輸入序列轉換為固定長度的向量表徵。這些表徵可作為使用者輪廓分析、風險評估與行為預測等任務的基礎。與以解碼器為中心的生成式模型不同，編碼器模型著重於以壓縮形式學習輸入資料的語義結構。

遮罩式建模是一種自我監督學習形式，可從大規模未標註資料中進行表徵學習。透過在金融交易序列中遮蔽特定交易，並訓練模型根據周邊上下文重建該交易，模型便可學習交易之間的時間依賴、金額模式與類別轉換規則。這是一種在沒有明確標註的情況下捕捉資料結構特徵的方法。

以大規模金融紀錄進行預訓練需要相當的運算資源與基礎設施，但所學得的表徵可透過遷移學習應用於多項下游任務。與針對每項任務從頭訓練模型相比，這種方法在資料效率與效能方面可能更具優勢。當標註資料有限時，預訓練表徵的價值尤其明顯。

競爭格局與策略意涵

大型金融機構也在投資自有 AI 能力。JPMorgan 已推動金融專用語言模型的開發，Bloomberg 也發布了 BloombergGPT。金融科技公司同樣正利用資料優勢開發領域專用模型。PRAGMA 反映了 Revolut 在這一更廣泛格局中的技術策略。

雖然基礎模型方法需要較高的開發成本與基礎設施投入，但若成功實作，便可形成可跨多項任務重複使用的表徵學習資產。若 Revolut 利用 PRAGMA 支援更佳的異常偵測、個人化服務或營運效率提升，該模型可能成為其內部 AI 技術堆疊的一部分。

由於金融資料的性質使外部分享相當困難，擁有自有平台所產生資料的公司在模型開發上可能具有優勢。這可強化資料網路效應，形成使用者基礎越大、模型品質越高的循環。PRAGMA 可被視為將使用者規模應用於模型開發的一個例子。

不確定性與限制

公開資訊並未揭露 PRAGMA 的具體模型規模、訓練資料量、效能基準或部署計畫。雖然相關成果似乎以論文形式發表，但商業服務整合或對外發布計畫尚未明確說明。考量金融資料的敏感性，模型或訓練資料以開源形式釋出的可能性看來不高。

金融監管環境對 AI 模型的使用設有嚴格要求。在歐洲，GDPR 等規範以及 AI Act 等框架會影響模型開發與部署。在美國，金融消費者保護規則與公平放貸要求也可能影響 AI 模型的可解釋性與偏誤管理。若 PRAGMA 要整合進金融服務，便需要符合這些監管要求。

就編碼器模型的特性而言，PRAGMA 較適合分析與預測任務，而非生成任務。涉及客戶互動或內容生成的使用情境，可能需要另行配置解碼器或生成式模型。因此，PRAGMA 最適合被理解為 Revolut AI 基礎設施中承擔特定角色的組成部分。

模型效能高度取決於訓練資料的品質與多樣性。若 Revolut 的使用者基礎集中於特定地區或人口群體，模型的泛化能力可能受到限制。此外，金融行為模式會隨經濟環境、監管變化與技術進展而改變，因此可能需要持續更新與重新訓練。