平安科技前沿技术部门负责人王磊 大规模预训练模型在垂直领域应用的缺陷与改进 (平安科技前沿技术部门负责人王磊)
整理 |维克多
这些模型的实际应用情况如何？它们能解决哪些实际问题？还有哪些不足？
2021年12月， 平安科技前沿技术部门负责人王磊 在 CNCC 2021“产业共话：大型预训练模型的商业应用及技术发展方向”论坛上，做了《大规模预训练模型金融领域应用中面临的主要问题与应对技术探讨》的报告。在报告中，他指出了当前大规模预训练模型在垂直领域的“致命”问题，针对这些问题提出了平安科技的解决方案。
例如，他认为大规模预训练模型在垂直领域性能达不到要求的原因可能是： “大规模预训练模型的训练语料库规模很大，既包含了该领域的关键信息也包含了其他无关信息，使得模型缺少对关键信息的关注”，“当前大规模预训练模型的机制改进也也很少涉及对关键信息的提取”。
基于此，王磊认为，大规模预训练模型本质上都是在处理信号，但只要是信号，就可能进行分解，将背景信息和垂直领域的信息分离开来，从而有效贴合下游场景。
金融客户对上线模型的精度要求很高，不少场景直接使用预加载模型往往很难满足需求。 王磊提出置信度评估方法，利用强化学习和Bagging思想评估模型靠谱程度。
以下是演讲全文，AI科技评论做了不改变原意的整理。
在平安公司场景下，大规模预训练模型在金融业务上的应用主要集中在贷款风控与股市投资。同时，这 两个领域近些年的建模在因子层面会比较依赖大数据，例如文本信息，使用 预训练模型进行处理能够形成一些特征因子，从而方便分析理解。
大规模预训练模型已经在几十个任务上刷榜，在医疗领域的表现更是令人瞠目结舌。但是深入到金融领域，其性能仍然无法满足要求。 以选股为例，传统方法在信息获取阶段会人工从研报、雪球、知乎等论坛找寻一家公司的信息以及风评，然后结合基金经理或投资人自己的判断获得对这家公司的洞察，从而决定是否买进。
由于金融领域的容错性特别低，而且要求模型对专业知识有很深的理解。如果达不到一定的理解水平，从业者宁可不用AI模型。
一般而言，对于单任务，一个模型的性能能达到90%，但如果需要理解一段话或者一段专业评语，则需要三层模型才能形成一定的特征，这时模型性能就会下降为70%左右的水平。因此，在投资等要求严格的场景下，预训练模型很难应用。
为什么会出现这种问题？个人认为，大规模预训练模型的语料库是大型文本，它注重广度和背景，对于深度和细节较少关注。
以国内企业研发的一些预训练模型为例，其早期改进的方式都集中在Mask层面，而Msak机制更倾向于集中学习信息的广度。而当模型应用到法律、医学等领域时，更需要的是“深度”理解。
如何解决？目前有很多思路，例如加入专家知识，知识增强、混合训练等等。目前，中国平安在探索语义空间分解技术和置信度评估方法。
大规模预训练模型涵盖了很多背景信息，那么能否进行再一次的分解，将背景信息和垂直领域的知识体系分离开来？分解不能没有标准和依据，而大规模语言模型实际上是在处理信号，当模型理解信号的时候，虽然信息和语义仍然在，但却在中间发生了各种形式的变换。因此，无论是哪种大模型，其本质都是将信息或语义重新转述为信号。
那么，既然是信号，就能够进行分解。我们已经尝试了多种方式，其中一种做法是：基于国内机构提出的大规模预训练模型，加入高中低滤波器，然后用自适应频谱机制进行处理，可以理解为一个Attention机制，最后进入下游任务训练。
经过实验表明，我们提出的频谱分解网络结构（Filter-Loss和Filter-layer ） ，结合经典语言模型训练神经网络，在各类型任务中均可显著提升语言模型能力。
更为具体，不仅是在垂直领域，改进后的语言模型在11个国际公开数据集上测试结果较BERT模型提升。这也证明，将语义空间进行分离，然后和下游任务结合的做法具有通用性。
在金融领域，无论模型达到什么样的水准，其上限永远是客户需求。例如客户的标准是95%的性能，而模型只能达到92%，仅仅差3个百分点，就会让模型很难上线。这类问题在金融企业非常容易遇到。
为了解决上述问题，平安科技提出了基于置信度评估的方法，通过这种方法，模型可以评估其“靠谱程度”。如果靠谱程度高，就通过，如果低，那么就需要人类接手，或者直接放弃。因为很多场景并不是信息越多越好，信息冗余已经成为了不可忽视的现象。
而且，还需要解决围绕各类复杂经济主体的多源异构大数据难以统一表述、信息难以整体耦合和关联的问题。平安通过对数据标签化提取的置信度技术研究，提升金融数据标签化提取精度，提升流程自动化水平；通过对多尺度多维度融合语义关联的经济主体表达技术的研究，构建金融领域知识图谱。
信度评估方法采用的是强化学习构建置信度框架。主要分为三个部分：
1.用BERT等语言模型等抽取语义向量
2.利用双向长短期记忆方式组合全局向量
3. 强化学习模块根据人工打分拟合相关标准，输出置信度分数。
此外，还可以尝试通过Bagging思想构建置信度框架。模型pipeline有4个阶段：
1.利用Bagging思想，从数据中抽样5份，训练出5套模型参数；
2. 在少量测试集上测试各套参数性能，根据性能例如F1值，分配各模型置信度权重；
3. 各套参数选择某个标签后，在结果统计中累加对应参数权重；
4. 最终输出累加置信度最高标签。
改进后的语言模型在语义相似度、多分类、语义蕴含等多类型国际公开数据集上测试精度较BERT模型的提升大多在10%-20%，但召回率下降20%-50%； 在实际项目中从舆情中提取公司标签的模型精度提升11个百分点，达到93%。
这在商业上非常有价值，例如虽然 召回率 降低了50个百分点，但意味着只有一半的模型需要人工干预，另一半的模型完全可以交给自动化，这远比模型无法上线要好的多。
在金融领域，例如选股，模型的精准度是首先需要考虑的，其他指标可以稍差。 例如从1000只备选股票中模型只选出了50只良好股票，可能会错过50只良好股票。但这种错过也是允许的，毕竟模型会“保证”选出来的50只股票大概率能够赚钱或有超额收益。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/5d24edbbb40d714b4423.html
匠心独具人本之心
广州市白云区研美化妆品厂
上海圣界电子科技有限公司，自1999年开始深入与研华合作，代理研华工控机、工业级arm主板、一体机、单板电脑等全系列产品，并开展系统集成相关技术服务，多年合作已成为研华信任的经销商。
深圳市启橙广告有限公司专注于企业文化墙，前台LOGO墙，公司形象墙，背景墙，机关单位党建文化墙，荣誉墙等设计制作安装售后一站式服务。提供免费上门勘察测量尺寸、出设计效果图，周边城市企业提供公司形象策划全案。
题目网,提供考试题目与题库资料下载、在线搜题与题目练习等功能,掌题库包含各类考试试题与题库答案、真题与模拟试卷、题目解析、热门考点题目题库等。
兔奇奇游戏网为广大游戏玩家提供最新游戏攻略秘籍，好玩的游戏推荐，每天更新大量精品游戏资讯、通关秘籍，热门的单机游戏如黑神话悟空，手游王者荣耀，端游逆水寒等都有详尽的攻略提供给大家，，关注兔奇奇游戏网帮你玩转各种游戏！
营口相亲服务中心（营口相亲网、营口婚恋网、营口征婚网）是营口地区大型的免费相亲服务平台，为营口地区的60后、70后、80后、90后、00后等营口单身朋友、离异朋友提供专业的营口征婚相亲服务。营口相亲服务中心始终坚持以改善营口相亲服务功能和提高营口相亲用户服务体验为宗旨，提供科学、高效的营口相亲服务，帮助营口地区真心寻找朋友和终身伴侣的人士实现和谐相亲，营口相亲服务中心得到了营口广大相亲会员的热烈拥护和赞赏。
无心所问,无问东西!
苏州权旭精密机械科技有限公司-专业从事CNC精密加工，车铣复合加工，复杂零件加工，钛合金零件加工，工程塑料零件加工及非标零件加工，并为客户提供模块化组装服务；专注于：通讯，航空航天，美容器械，食品机械，新能源、汽车、石油、矿山机械等领域，有需要加工的朋友，欢迎来电咨询！
乔迁（QiaoQian.com）提供专业的写字楼出租、写字楼租赁服务，汇集海量北京写字楼房源信息、北京办公楼租赁信息，实时更新，价格透明，欢迎咨询400-810-6920转1
固体废弃物,一般固废,危废减量化,危废回收利用
分贝通，商旅/费控/支付一体化的企业支出管理平台。通过“软件+支付”的模式，实现一个平台管理企业全部费用支出，带来员工省事/财务省时/公司省钱的一体化企业支付体验.
打着，人生短暂，偷情无罪，的旗号，婚外情网站AshleyMadison自创办之初便饱受争议，在这个，小三出街，人人喊打，的时代，为何这个挑战人类道德底线的网站能够活的这么好呢?据AshleyMadison网站官方表示，该网站已拥有来自26个国家的月2000万活跃用户，此外，据AshleyMadison创始人NoelBiderman表示...。
回到一年前，iPhone7、iPhone7Plus首发当日，其火爆情形可以用，抢光，，甚至是，抢不上，来形容，苹果官方在当日即表示，首批所有颜色的iPhone7Plus已全部售罄，亮黑色的iPhone7也已售罄，一年之后，火爆不再，9月22日，国行iPhone8、iPhone8Plus正式开卖，与以往通宵排队买iPhone的情形不同，...。
感谢云数据仓库多年来的辛勤付出，但它们引领的霸权时代即将落幕，在近期的一篇博客中，Clickhouse产品VPTanya在文章开头便放出了这一大胆的观点，Tanya称，以Snowflake、Redshift、BigQuery为代表的云数仓已经不能完全满足客户需求，并且许多企业也已经发现云数据仓库成本不可持续，此观点一发，也引起了业...。
我们经常说，生命在于运动，当下，人们越来越注意养生，对强身健体很重视，因此越来越多的人喜欢运动，运动当然需要运动装备，所以许多加盟商顺应这个发展潮流，想要智慧之选开户外装备店，户外运动装备的需求量虽然很大，但是营收如何呢，开户外装备店好吗，许多加盟商心里没有底，下面小编来为各位分析一下，户外装备店好吗随着人们生活水平的提高，人们越来越...。
安徽省凤台县第一中学在各类学科竞赛中表现出色，学生们的优异成绩屡获殊荣，据统计，有超过60名学生在国家级竞赛中荣获三等奖以上，省级竞赛中，达到三等奖及以上水平的学生人数更是突破百人，地市竞赛中的表现同样瞩目，近一千名学生在这些竞赛中收获了三等奖以上的荣誉，在体育竞技方面，学校同样光彩夺目，省级以上运动会的获奖名单中，凤台一中学生的身影...。
发表在专业问答2023，2，1714，00展示机型信息，品牌型号，iPhone14、华为mate40系统版本，iOS16.1、鸿蒙OS2.0软件版本，爱奇艺13.12.6爱奇艺能直接投屏电视，爱奇艺投屏电视需要将移动设备和电视连接到同一无线网络中，然后打开电视上的投屏软件，接着在移动设备上通过爱奇艺的投屏功能或移动设备的屏幕镜像功能连...。
此次通报的互殴事件，跟发生在唐山的烧烤店暴力事件截然不同，从警方给出的信息来看，此次事件是两伙人，因为肢体碰撞产生口角进而引发打斗，涉事人员报案以后，经过初步调查，并未发现有案底人员，按照这个标准来看，这些人的行为还上升不到违法的性质，充其量是违反，治安管理处罚调理，的行为，当然，如果整起事件造成了极为恶劣的影响，也不排除警方会以寻衅...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
磁力搜查引擎中比拟好用的有，1.磁力猫，磁力猫是一个专一于磁力链接搜查的引擎，它领有宏大的资源数据库和高效的搜查算法，能够协助用户极速找到所需的磁力链接，其界面繁复明了，搜查结果准确率高，是磁力搜查中的佼佼者，2.索搜磁力，索搜磁力也是一个十分低劣的磁力搜查引擎，它提供了丰盛的搜查选项，如按文件类型、大小、颁布期间等启动挑选，大大提高...。
韩国车尤其大宇在国人中仿佛口碑不算太好，国外二手车中韩国车的升值率也比拟高，我团体以为这其实与人们的习气思想无关，这些年技术的提高使韩国汽车有了长足的开展，加上物美价廉性能丰盛的好处，韩国车变得越来越有竞争力，前卫时兴的流线型车身设计是蓝龙最惹人注目标亮点，俏皮的大灯配上大宇近年来盛行的前脸很惹眼，蓝龙的性能像简直一切韩国车一样让人没...。
微信最新版本上线啦，在拍一拍的基础上增加一种新玩法炸一炸，实际上就是在拍一拍游戏中加入了爆炸效果，看起来非常有趣，非常适合好友们之间的嬉闹，那么微信炸一炸怎么设置怎么设置呢？今天小编就为大家介绍一下使用方法，一起看下去吧。
爬虫软件是什么意思简单来讲，爬虫就是一个探测机器。网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。可以利用爬虫技术，自动地从互联网中获取感兴趣的数据内容，并将这些数据内容爬取回来，作为自己的数据源，从而进行更深层次的数据分析，并获得更多有价值的信息。爬虫软件都有什么，想从网上爬一些数据，必须写代码这个不一定，爬虫只是一个数据获取的过程，不一定非得会代码，目前网上有许多现成的软件都可以直接爬取数据，下面我简单介绍3个，分别是后羿、八爪鱼和火车头，感兴趣的朋友可以尝试一下：01
今天小编给大家带来学英语口语的最好的app推荐，因为在全球化日益加深的今天，英语作为国际通用语言，其重要性不言而喻，掌握英语口语，无疑能大大提升个人的竞争力，无论是求职、升职，还是参与国际项目，流利的英语口语都能让你脱颖而出，成为众人瞩目的焦点，通过学习英语口语，大家能够打开更广阔的职业发展空间，迎接更多机遇与挑战，所以感兴趣的玩家们...。
关于B460/b560/b660/z690主板装win7没有I219-v和i219-LM网卡驱动解决方法
2018年，零售市场多了几分热闹，旷视、依图、地平线等AI新星不约而同地选择客流分析作为切入点，先后推出了智慧零售解决方案，这并不意外，一方面，客流分析是人、货、场数字化中的重要组成部分，市场空间广阔；另一方面，这些企业都以计算机视觉技术为核心，而计算机视觉在目前所有客流分析技术中前景最为明朗，正当AI新秀们的客流分析方案进入线下门店...。
Facebook在F8开发者大会上的大招是开发Messenger，把这个拥有9亿用户的聊天软件，开发为一个可以让商家与用户通过聊天机器人沟通的成熟平台，表面上看，这感觉是一个标准的产品发布会，虽然目标很大，，将一个已经很成功的产品推向下一个层面，但是没有这么简单，三个互相交错的推力，汇成了这场发布会，值得我们花时间去了解为何每个人都在...。
前不久，有着近500年历史的爱思唯尔，Elsevier，集团发布了2021年，中国高被引学者，HighlyCitedChineseResearchers，榜单，共有4701名中国学者荣誉上榜，较2020年提升16.85%，从中看出的不仅是中国学者的国际影响力在逐年提高，同时更值得关注的是，来自企业的科学家的比例也在逐年升高，如腾讯首...。
