數位銀行平台 Revolut 已推出 PRAGMA，這是一款以金融交易資料預訓練的基礎模型。該模型採用編碼器架構處理多來源的銀行使用者歷史資料，並以套用於大規模金融紀錄的遮罩式建模技術進行訓練。

金融專用基礎模型的出現

與通用語言模型或視覺模型不同，PRAGMA 是一款針對金融交易紀錄量身打造的領域專用基礎模型。據報導，Revolut 使用其平台上產生的交易歷史、帳戶活動與支付模式作為訓練資料。編碼器式架構著重於學習輸入資料的表徵，這種結構適合分類、異常偵測與使用者分群分析等下游任務。

遮罩式建模已廣泛應用於自然語言處理。此技術會遮蔽輸入序列的一部分，並訓練模型預測被遮蔽的元素，有助於捕捉資料中的模式與上下文資訊。若將其應用於金融交易資料，模型可藉此學習消費習慣、交易時間分布，以及不同類別之間的關聯。

金融服務 AI 的營運脈絡

金融機構長期以來已將機器學習用於異常偵測、信用評分、個人化推薦與客戶流失預測等任務。傳統方法往往依賴為特定任務設計的單一模型。基礎模型方法則允許同一個大規模預訓練模型在多項任務中重複使用，從而提升開發效率與一致性。

Revolut 成立於 2015 年，之後在歐洲及其他地區持續擴張，截至 2024 年已服務全球數千萬名使用者。如此規模的使用者基礎有助於提供基礎模型訓練所需的大型資料集。由於金融資料因敏感性與監管要求而難以對外分享，擁有專有資料的機構可能更有條件開發領域專用模型。

「多來源使用者歷史」的表述顯示，PRAGMA 不僅能整合處理單純的交易紀錄，還可能涵蓋帳戶類型、卡片使用模式、轉帳歷史與外匯兌換紀錄等多種資料流。這項能力有助於更全面地理解使用者的金融行為，且相較於僅依賴單一資料來源的模型，可能具備更好的泛化能力。

技術架構與訓練方法

編碼器模型專長於將輸入序列轉換為固定長度的向量表徵。這些表徵可作為使用者輪廓建模、風險評估與行為預測等任務的基礎。與以解碼器為中心的生成式模型不同，編碼器模型著重於以壓縮形式學習輸入資料的語義結構。

遮罩式建模是一種自我監督學習形式，可讓模型從大規模未標註資料中學習表徵。透過在金融交易序列中遮蔽特定交易，並訓練模型根據周邊上下文重建這些交易，模型可以學習交易之間的時間依賴關係、金額模式與類別轉換規則。這是一種在沒有明確標註的情況下捕捉資料結構特徵的方法。

以大規模金融紀錄進行預訓練需要相當的運算資源與基礎設施，但所學得的表徵可透過遷移學習應用於多項下游任務。與針對每項任務從頭訓練模型相比，這種方法在資料效率與效能方面可能更具優勢。當標註資料有限時，預訓練表徵的價值尤為明顯。

競爭格局與策略意涵

大型金融機構也在投資自有 AI 能力。JPMorgan 已推動金融專用語言模型的開發，Bloomberg 則發布了 BloombergGPT。金融科技公司同樣正利用資料優勢開發領域專用模型。PRAGMA 反映了 Revolut 在這一更廣泛格局中的技術策略。

雖然基礎模型方法需要較高的開發成本與基礎設施投入，但若成功實作，便可形成可重複使用的表徵學習資產，適用於多項任務。若 Revolut 以 PRAGMA 支援更佳的異常偵測、個人化服務或營運效率，該模型可能成為其內部 AI 技術堆疊的一部分。

由於金融資料的性質使外部分享相當困難，擁有自有平台所產生資料的公司在模型開發上可能具有優勢。這可強化資料網路效應，形成使用者基礎越大、模型品質越高的循環。PRAGMA 可被視為將使用者規模應用於模型開發的一個案例。

不確定性與限制

公開資訊並未揭露 PRAGMA 的具體模型規模、訓練資料量、效能基準或部署計畫。雖然相關工作似乎以論文形式發表，但商業服務整合或對外發布計畫仍未明確說明。考量金融資料的敏感性，該模型或其訓練資料以開源形式釋出的可能性看來不高。

金融監管環境對 AI 模型的使用設有嚴格要求。在歐洲，GDPR 等規範以及 AI Act 等框架會影響模型開發與部署。在美國，金融消費者保護規則與公平放貸要求也可能影響 AI 模型的可解釋性與偏差管理。若 PRAGMA 要整合進金融服務，便需要符合這些監管要求。

就編碼器模型的特性而言，PRAGMA 較適合分析與預測任務，而非生成任務。涉及客戶互動或內容生成的使用情境，可能需要另行配置解碼器或生成式模型。因此，PRAGMA 最適合被理解為 Revolut AI 基礎設施中承擔特定功能的一個組成部分。

模型效能高度取決於訓練資料的品質與多樣性。若 Revolut 的使用者基礎集中於特定地區或人口群體，模型的泛化能力可能受到限制。此外，金融行為模式會隨經濟環境、監管變化與技術進展而改變，因此模型需要持續更新與再訓練。