【白皮书市场研报】大模型在金融领域的应用技术与安全白皮书-上海财经大学&蚂蚁集团&BCTC-2024.docx

《【白皮书市场研报】大模型在金融领域的应用技术与安全白皮书-上海财经大学&蚂蚁集团&BCTC-2024.docx》由会员分享，可在线阅读，更多相关《【白皮书市场研报】大模型在金融领域的应用技术与安全白皮书-上海财经大学&蚂蚁集团&BCTC-2024.docx（25页珍藏版）》请在优知文库上搜索。

1、上物财俗丈才WMM*MMV*Wa*OM0钧蚊团Antgroup大模型在金融领域的应用技术与安全白皮书Ol概述1.1 大语言模型技术发展概述语言建模(1.anguageModel)可分为四个发展阶段，分别为统计语言模型、神经语言模型、预训练语言模型、大模型语言模型。其中最早的统计语言模型基于统计学习来预测单词，而后演进成为神经语言模型基于神经网络方法慎测单词。在神运网络语言模型中，通过使用神经网络,将单词映射为向量作为网络模型的输人来估计单词序列的慨率。循着注意力机制被引入，注意力层(Attention1.ayers)在文本中速立了词之间的相关性，使得模型在生成下一个单词时，考虑到整体语句的意思

2、，从而建立了TranSfOrnIer架构，提升了模型理解和生成语言的能力。但演着参数的增加，需要大量人力来标注数据，因此OPenAl提出了预训炼语言模型(GenerativePre-TrainedTransformer),通过无监督学习在大规模无标签语科库上进行预训练任务,在预训练中模型学会了基于前一个单词预测后一个单词。除此之外，模型还可以针对特定的任务基于更小的数剪集进行微调，提升在特定领域的性能。塞于此，通过不断叠加数据增加模型参数规模以及优化模型的提示工程，不仅可以解决更夏杂的任务，同时也拥有了更强大的文本涌现能力,，从而演进成为大模型语言模型(以下简称“大模型大模型浪潮爆发后,国内各

3、企业黔推出自研大模型,大模型应用迎来了医勃发展的阶段。据测算,我国2030年基于大模型的生成式人工智能市场规模有望突破千亿元人民币。与此同时，国内垂直行业领域的大模型也成为各个行业头部企业未来的发展趋势之一，其中前沿的垂类大模型涉及领域包括媒体影视、电商，广告营销、游戏、医疗、教育及金融行业。比如在金融领域，大型科技企业如华为推出了盘古金融大模型，而蚂蚁集团则在外滩大会发布了金融大模型AntTinG1.JT并应用于蚂蚁集团内部产品“支小宝”和“支小助”。金融行业大模型在所有行业垂直大模型中落地速度相对较快。金融领域拥有天然的大量数据积淀，从而为大模型应用提供了良好的数据基础。同时金融领域大模型

4、的应用场景较多，基于这些不同的场景，大模型有助于从不同角度提升原有从业人员及机构的工作效率。比如大模型情绪分析的功能可帮助从业者基于投资者情绪状态预测股票的价格：大模型精确度的提升可帮助从业者预测市场走势，大模型可基于过去大量的金融数据学习预测未来市场趋势帮助投资者和金融机构做出更合理的决黄：而复杂任务的处理可协助从业者将大模型用于交易策略上，通过分析大量交易信息.大模型或可识别交易中的风险参数并给出风险防控策珞。1.2 大模型引领中国金融领域科技的国际化发展因此，通过提升金融服务的效率和质量.大模型可提升我国金微机构的核心竞争力。首先大模型的自然语言理解与内容生成能力可以与用户进行多轮问答对

5、话，提升金融客服的服务效率。其次,通过大模型迸行智能数据挖抠处理,金融机构能够更快速准确地获取市场挂势的洞察,做出更明智的决策。同时，大模型可以迅速了解各国的法律、监管规定和市场动态，为金融机构提供国际化的业务洞察和决镣支持，帮助中国从业者更好地理解和适应国际市场的业务需求和规则。海外金融科技公司已经在积极探索和持续深化大模型在金融服务领域的应用。Bloomberg已推出BloombergGPT.一个基于500亿参数训练的应用于金融领域自然语言处理的大模型。据研究，当前此大模型在金殿任务包括金融资讯分类任务（FPB）,预测特定领域的金融新闻及话题（FiQASA）,股指推理（ConFi11QA）

6、等特定任务上的表现大幅领先于现有的近似规模的开放模型“BloombergGPT的推出说明海外在大模型金融科技应用方面已经取得了一定的成果。除此之外，一些传统金融机构也通过基Wuetal,础大模型的应用提升业务竞争力，大型国际投行MorganStanley已将GPT-4应用在财富管理领域打造内部智能助手从而辅助其财富管理顾问快速搜索所需资讯，高效地为客户提供服务。与此同时头部对冲基金Citadel也拟在全公司各条业务线中应用ChatGPT,提升业务运作效率。而我国大模型和数字金融已有较好的产业发展基础，宜抓住此轮大模型科技变革机遇，进一步提升我国数字金融国际竞争力。2023年中央金融工作会议提出

7、将数字金融上升到国家战珞部署的新高度,而大模型等新技术将进一步扩展金融科技的发展空间。根据金融科技发展规划（2022-2025年消，目前应要抓住全球人工智能发展新机遇，深化人工智能技术在金融领域的应用.因此，我们应把握大模型技术浪潮，提升金融科技全球竞争力。新，直到超于梗定.当负洸器性能较高时,此种检测方法在不同模型间表现出段好的迁移能力主动检测基于检索的方法这类方法中.模型所寺者在模型生成文本时构St生成内容数据球,女需要检温时通过检索数据您,将待检测样本与数据苫进行匹配，计算相他段落的文本相似度.如果相似度趣过闻值,就判定待检利文本是模型生成的.此种检漏方式能较好地忘时复逑攻击，但再要更新

8、和维护大规模数据库，部署成水和难度大.此外，这种方法也可能涉及到用户数据的隐私保护等问题。基于水印的方法此类方法中，模熨在生成文本时嵌入特定的文本木印.有效的文本水印应具备照蔽性和鲁棒性。麴蔽性指嵌入文本的水印应不影响文本的赘体可读性和主要含义，能通过件定的算法识别出来,但人类无法察觉.鲁棒性指水印应具备悦干扰能力,除*经过对文本的大幅修改，否则管单的文本扰动地以去除水印.文本水印技术又可分为基于规则的水印方法和基于统计的水印方法两类.若于规则的水印方法中.对生成的文本依督预定义的规则进行相应处理，以加入水印.该力法通过替摸、插入、刮除成单词发形等操作.使再生成文本具内朴定的模式或结构.其在文

9、本中不可见，但能被计算机识别.而基于统计的水印方法则透过调度解碣过程中输上文本的概率分布出入水印,并引用统计方法进行检测.其中一不典型方法是水印方案，在水印手如阶段,文本生成的每一步都会基于前一个单词的Iogit向费来生成哈老,此哈将值用于将候选单词列表划分为两个部分：红色列表和域色列表.并在下一步生成过程中增加单词来自操色列表的概率.在水印性测阶快，Rl计算文本中来源于红色和缄色列表的单词所占比例,弁通过境计显著性检脍来确友文本中是否古有水印。表3-7溯源检测方法3.1.6.1有害内容识别有害内容可分为两种类型,一种为显式有害内容,即使用明显不合适词语的有害内容.一种为隐式有害内容，即使用委

10、婉语,拐尊抹角，讽刺，隐喻,成语等来输出有害观点的有害内容。显式有害内容大多可以通过关版词匹配的方法进行检测，而隐式有害内容的识别难度更大.以下内容介绍了基于二分类器的识别和基于大模型的识别两种常用的自建模型来识别有害内容的方法：一方面，时于基于而分类器的有害内容识别,其中最重要的是训练数据集的构建。常用的数据集构是方法有网络收集、专家标注、众包标注和大模型标注。比如，OffensiveTwitter数据集利用Twitter数据通过关键词匹配的方法迸行标注，TOXIGEN数毋集使用GPT3进行标注，1.atentHatred和BAD数据集使用众包方法标注隐式有毒内容。另一方面，针对金融领域某些

11、特定的有毒内容如金融违规内容或未持牌情况下的荐股荐基内容，可以通过训炼专用的内容风控大模型对其进行识别。而训炼内容风控大模型和常规大模型一样主要可基于大量的人工打标样本，结合提示工程和监督微调完成。在模型训练的数裾标注方面，一般而言有毒内容包含不同类型的标签，如针对未持牌的主体在金融领域大模型的应用，则不可涉及违规荐股荐基、违规提供投资组合珑议等持牌业务。在模型推理阶段，为了提高风险命中准确性，传统的提示工程可替换为基于多步推理假架的提示工程进行。比如通常基于模型的提示为”请判断以下内容中是否有不符合金融价值观、荐股荐基、不当投资组合内容”，但通过多步推理框架的提示工程可拆解为几个步骤，如下图

12、所示，通过递进的推理得出最终命中有毒内容的绪果以及具体标签：模型训练在旗型训嫁阶段.有多种方法用于有害内容消除,研究“提出了DAPT和ATCON苒种训缄方法.DAPT在原颈训炼旗生的基础上班外在无毒数据子集上进行训炼，而AT8X方法则时训炼禺中的样本随机员于|t。XiC|或者nontOKiCI的防媛i行训练,而在髀码阶段基于nontoxic的前援进行解码。此外，用于梗型价值观对齐的手段也有助于花毒内容滑除，比如本文第二部分根到的。人然齐技术中的RlJIF(Reinforcement1.earningfroIlunanFeedback)和RAfrT(RfardAlignedFineTuning)

13、,同时在模型开发过理中定期进行红皮攻防并进行数据由测、优化也可分助发现媒熨对有害内容的漏洞，从而进一步巩因安全防控.槎型推理在梗组推理阶段，可读先设定一系列案名单词语，使得它们在生成时的微率降低.工作提出为词汇表里每个词学习一个二维向量，用来代表有毒相无需，捶着用这个向It来增力推理时无春词的生咸慨率.然而这两件方法粗无法消除隐含有赤内客.可控文本生成技术也可用于有毒内容消粉.PP1.M方法在模型生成过程中,利用毒性分类器计算帏度更新模型的隐藏状态，模型后处理在蛾空后处理阶段,可通过嵌入式的内容安全昉控工具来实现力毒内容的二次发核及消除。但一航的内客审核工具法于传统的内容送检更转.审核滞后性较

14、淘.不适配大模型实时生成的内容,因此可考虑嵌入内容风控大模型.以大悔型治理大悔型.比如大槿型在金融钱域的应期中,史提金融合规性,因此开发金融金类的内容风控大模型劝目标大模型进行审核,世极违规内容,并在产IS隹路上弹出兜底琴亲，也可在一定程度上总少遑规内容的透出.表3-9有咨内容消除方法3.2大模型风险治理框架借鉴大模型的风险治理是个非常复杂的体系，除了微观风险防控层面可以参考3进行采GBhrngCla,Re11-oiotyPromptsEvaluatingNeUfalTOwCDegencfauonnIangUaQCMocW$)用具体安全措施缓解大模型风险外，站在整个宏观行业层面还需要建立大模型

15、相应的监管治理框架，为大模型的整体发展方向划定安全边界，确保整个行业的安全、健康发展。3.2.1 美国关于人工智能的治理美国作为在人工智能前沿探索的国家之一，以往也发布了1.系列针对人工智能的法规，包括G算法问责法（草案拜、人工智能应用的监管指南、人工智能道筏原则及人工智能权利法案蓝图3。2023年10月.美国总统拜登发布了关于安全可靠的人工智能的行政命令用于防控人工智能系统的潜在风险。其中提到的几点或可用于国内大模型的监管混架借将。一是设定严格的红蓝攻防测试标准，并将这些测试结果提交至监管侧审核来保原其内容风险可控。在大模型在金融领域应用的监管中，针对有毒内容的生成，也可通过设置严格的红蓝攻防标准并递交测试结果至监管机构来进行管控。二是在隐私保护方面，除了开发并应用一系列的隐私保护技术，监管侧还会评估机构在开发模型时，如何收集和使用市场上流通的信息。针对大模型在金融领域应用的隐私安全问题，也可对训练数据收集过程进行规范，从而减少隐私风险漱口。三是在促进公平、开放的大模型生态方面，美国政府将逋过向小型人工智能开发及应用企业提供获得人工智能技术援助和资薄的机会，从而制助他们实现人工智能突破的商业化，从而促进公平、开放和具有竞争力的人工智能生态系统。而对于大模型在金融领域的应用发展而言，其生态较为复杂，包括金融技术服务提供商，数据服务商，金融机构，金融从业人员，机构客户等角色。而