-
曾剑平:AI进入金融场景后,风险治理必须理解数据、模型与智能体边界
最后更新: 2026/5/22 9:51:04以下为曾剑平发言全文(已经本人审定):
我主要从AI安全的角度谈一点看法。因为我是做人工智能安全相关研究的,所以看这个问题时,会更多关注AI进入金融场景以后带来的风险结构变化。AI不是简单的效率工具,它进入金融以后,会和传统金融风险发生叠加。
金融行业原来讨论比较多的是信用风险、市场风险、操作风险等传统风险。但如果从技术角度看,AI系统本身也有一整套风险,包括物理层、数据层、模型层、算法层、应用层等不同层面的风险。AI进入金融业务后,相当于给风险打开了新的路径,也为攻击者提供了新的入口。
首先是数据层面的风险。AI模型训练依赖大量数据,金融场景中很多任务也依赖数据,比如信用评估、金融欺诈检测、客户画像、交易监控等。如果训练数据被污染,或者输入数据被攻击者有意操纵,模型输出就可能出现偏差。所谓数据投毒,就是在数据源头上影响模型,使它在特定场景下给出错误判断。
数据隐私也是很重要的问题。现在国家非常重视数据安全和个人信息保护。AI模型训练和调用过程中,可能会涉及大量个人信息、交易信息和机构数据。数据一旦进入训练或推理流程,后续如何追溯、如何删除、如何保护,都不是简单问题。金融行业本身对数据敏感度很高,所以AI应用必须特别重视数据合规和隐私保护。
其次是模型层面的风险。大语言模型本质上是概率模型,它根据上下文生成概率上更可能出现的答案。概率高不等于事实正确。如果输入数据有偏斜,或者问题设计本身存在诱导,模型就可能给出看起来合理但实际错误的结果。这也是为什么大模型会出现幻觉。
现在有一种倾向,认为有了大模型以后,传统知识学习就不重要了。我认为这是错误的。一个人如果没有知识,就很难拥有真正的判断力。没有判断力,就无法判断AI给出的答案大方向是否正确,也无法识别它在哪些细节上可能出错。对于学生来说,基础知识不是可以被AI替代的东西,而是你使用AI、判断AI和纠正AI的前提。
模型偏见也是需要注意的问题。如果训练数据本身包含偏见,或者数据样本不均衡,模型输出就可能产生不公平结果。在金融场景中,这可能影响信用评估、客户分类、风险定价等环节。如果这类偏见不能被发现和校正,就可能进一步影响金融公平和风险管理。
此外,还有责任归属和系统依赖问题。AI模型输出错误以后,责任由谁承担?是模型提供方、系统开发方、金融机构,还是具体使用人员?在金融业务中,责任链条必须清楚。否则,一旦AI参与投研、交易、风控或客户服务,出问题以后很难界定责任。
这些AI风险会和传统金融风险叠加。比如数据偏差可能带来信息不对称,模型误判可能影响信用风险,系统集中使用同一模型或同一接口,可能形成新的集中性风险。随着AI在金融中的应用越来越广,每个模型、接口和智能体都可能成为风险入口。对这些新型风险的管控,不能等到大规模问题出现以后才开始,而要在应用初期就纳入治理框架。
因此,我认为金融学生和金融从业者需要具备基本的AI素养。你使用AI,如果对它的原理、假设和边界完全不了解,心里其实是没有底的。很多AI系统背后都有模型假设,但这些假设未必会明确告诉使用者。使用者如果不知道模型基于什么数据、适用于什么场景、可能有什么偏差,就很容易过度相信AI结果。
比如我们用AI处理数据时,模型可能会在两个变量之间发现某种关系。但这两个变量本来可能并没有真实关系,只是在样本里出现了偶然相关。AI如果把这种关系当成规律,输出结果就会误导使用者。金融场景中这种误判可能非常危险,因为它可能进入投资、授信、风控或交易决策。
标签- 责任编辑: 蔺渊
-
“美国人要多付几十亿美元,但特朗普不在乎” 评论 87
日韩真麻了:零食袋褪色,尿布、建材也告急 评论 116
“再突破,中国登月迈出关键一步”test 评论 135
阻挠中国投资,澳媒敲警钟:小心自废武功 评论 25最新闻 Hot

观察员





上海市互联网违法与不良信息举报中心