数字银行平台 Revolut 推出了 PRAGMA，这是一种基于金融交易数据预训练的基础模型。该模型采用编码器架构处理多源银行用户历史数据，并使用应用于大规模金融记录的掩码建模技术进行训练。

金融专用基础模型的出现

与通用语言模型或视觉模型不同，PRAGMA 是面向金融交易记录这一特定领域的基础模型。据报道，Revolut 使用了其平台上生成的交易历史、账户活动和支付模式作为训练数据。编码器式架构侧重于学习输入数据的表示，这种结构适合分类、异常检测和用户分群分析等下游任务。

掩码建模已在自然语言处理领域得到广泛应用。该技术通过遮蔽输入序列的部分内容并训练模型预测被遮蔽元素，从而帮助捕捉数据中的模式和上下文信息。将这一方法应用于金融交易数据后，模型可以学习消费习惯、交易时间分布以及不同类别之间的关系。

金融服务 AI 的运营背景

金融机构长期以来一直将机器学习用于异常检测、信用评分、个性化推荐和客户流失预测等任务。传统方法通常依赖为特定任务设计的单独模型。基础模型方法则允许一个大规模预训练模型在多个任务之间复用，从而提高开发效率和一致性。

Revolut 成立于 2015 年，业务已在欧洲及其他地区扩展，截至 2024 年服务全球数千万用户。如此规模的用户基础有助于提供基础模型训练所需的大规模数据集。由于金融数据因敏感性和监管要求而难以对外共享，拥有专有数据的机构往往更有条件开发领域专用模型。

多源用户历史这一表述表明，PRAGMA 可以整合并处理除简单交易记录之外的多种数据流，包括账户类型、银行卡使用模式、转账历史和外汇兑换记录。这一能力有助于更全面地理解用户金融行为，并且可能比仅依赖单一数据源的模型具有更好的泛化能力。

技术架构与训练方法

编码器模型擅长将输入序列转换为固定长度的向量表示。这些表示可作为用户画像、风险评估和行为预测等任务的基础。与以解码器为中心的生成式模型不同，编码器模型更侧重于以压缩形式学习输入数据的语义结构。

掩码建模是一种自监督学习形式，能够从大规模无标注数据中学习表示。通过在金融序列中遮蔽特定交易，并训练模型根据周围上下文重建这些交易，模型可以学习交易之间的时间依赖关系、金额模式和类别转换规则。这是一种在没有显式标签的情况下捕捉数据结构特征的方法。

在大规模金融记录上进行预训练需要大量算力和基础设施，但所学到的表示可以通过迁移学习应用于多个下游任务。与针对每个任务从头训练模型相比，这种方法在数据效率和性能方面可能更具优势。对于标注数据有限的任务，预训练表示的价值尤为明显。

金融 AI 的竞争格局与战略含义

大型金融机构也在投资自有 AI 能力。摩根大通一直在推进金融专用语言模型的开发，彭博则发布了 BloombergGPT。金融科技公司同样在利用数据优势开发领域专用模型。PRAGMA 反映了 Revolut 在这一更广泛格局中的技术策略。

尽管基础模型方法需要较高的开发成本和基础设施投入，但一旦成功实施，就可以形成可在多个任务中复用的表示学习资产。如果 Revolut 利用 PRAGMA 提升异常检测、个性化服务或运营效率，该模型可能成为其内部 AI 技术栈的一部分。

鉴于金融数据的性质导致外部共享困难，拥有自有平台生成数据的公司在模型开发方面可能具有优势。这可以强化数据网络效应，形成用户规模越大、模型质量越高的循环。PRAGMA 可以被视为用户规模被用于模型开发的一个例子。

不确定性与限制

公开信息并未披露 PRAGMA 的具体模型规模、训练数据规模、性能基准或部署计划。虽然该工作似乎以论文形式呈现，但商业服务集成或对外发布计划尚未明确。考虑到金融数据的敏感性，该模型或训练数据以开源形式发布的可能性似乎不高。

金融监管环境对 AI 模型的使用施加了严格要求。在欧洲，GDPR 等法规以及 AI Act 等框架会影响模型开发和部署。在美国，金融消费者保护规则和公平放贷要求也可能影响 AI 模型的可解释性与偏差管理。PRAGMA 若要集成到金融服务中，需要满足这些监管要求。

鉴于编码器模型的特性，PRAGMA 更适合分析和预测任务，而非生成任务。涉及客户交互或内容生成的用例可能需要单独的解码器或生成式模型。因此，PRAGMA 最适合被理解为 Revolut AI 基础设施中承担特定角色的组成部分。

模型性能在很大程度上取决于训练数据的质量和多样性。如果 Revolut 的用户基础集中于特定地区或人口群体，模型的泛化能力可能受到限制。此外，金融行为模式会随着经济环境、监管变化和技术进步而变化，这可能需要持续更新和重新训练。