向量数据库将进入蓝海时代 对话腾讯云 大模型愈发火热 (数据库 向量化)

文章编号:41542 资讯动态 2024-12-03 腾讯云 大模型 向量数据库

向量数据库已经成为除大模型之外的又一热词。

众所周知,数据是构建大模型的三大要素之一,所以从一定程度上来说,向量数据库能突破大模型在时间和空间上的限制,为企业利用数据价值带来更多的帮助。

也有人形象比喻道,大模型是人的“大脑”,向量数据库就像“海马体”一样,能够为大模型提供“长期记忆”。

谈到向量数据库,还要从大模型说起。

目前对于大模型业界有两种声音:一种认为大模型会吞噬着现有的资源,吞噬我们的岗位,这种声音表达了对大模型的担忧和恐惧。另一种则对大模型充满期待,认为大模型会带来新的技术变革,进而提升社会生产力。

其实从现在来看,这两种声音都没有对错。

对此,腾讯云数据库副总经理罗云表示,腾讯云团队一定意义上也关心第一种声音,很可能会成为第一波被替换的程序员。在这种情况下担忧是解决不了问题的,我们经常激励自己要有更大的勇气迎接大模型,迎接这个新时代的到来。

在他看来,大模型相当一个智能处理器,有了它之后,不需要大量的程序员编写程序调用底层GPU,用自然语言就可以和大模型交互,让大模型为我所用,从而释放更大的生产力。技术侧,随着大模型这个智能处理器的普及,算力的使用方式也会发生变化。

大模型之于社会、之于企业、之于个人的意义早已不言而喻,但在其带来红利的同时,也会在一定程度上加剧企业之间的竞争,而竞争的焦点就是数据。

用罗云的话讲,谁能够更好的利用数据,更好的把数据沉淀到自己的工程里,更好的让数据接入到大模型和整个AI体系谁就有可能走在最前列。

罗云把数据竞争核心归结为以下两点:

一是,大模型如何更好的管理企业产生的非结构化数据,目前企业产生的数据80%是非结构化的,我们通常会选择通过预训练的方式把数据沉淀到大模型中,让大模型变得无所不知,但是与之而来的是高昂的成本问题。

二是,如何保障企业数据的私密性,数据在空间和时间上会有很大的限制,一方面企业很难把自己具有核心竞争力的数据放到大模型中去训练,另一方面数据很难做到秒、天级别的更新。这时候我们向量数据库其实就变得非常重要,要去弥补大模型在时间上和空间上的限制。

为了解决以上问题,企业的处理方式是通过向量化的方式把非结构化的数据存储到向量数据库中。以数据更新的时效性为例,假如我们想要了解一周股市的变化,以现在通用大模型或者行业大模型的发展情况来看,是很难快速的更新一周的内容的。

但有了向量数据库后,企业可以先把一周的新闻通过Embedding的方式存到他们自有的向量数据库中,有客户问问题时,它会从向量数据库中检索到与问题相关的新闻,拿到检索结果后做一个提示词的工程化处理,最后传递给大模型完成最后的推理生成答案。

通过观察发现,有了向量数据库,企业有了更好运用数据,特别是覆盖80%的非结构化数据的能力,一定意义上向量数据库更像是企业数据和大模型之间的桥梁。

向量数据库之于大模型的意义已经逐渐显现,但腾讯云也有自己的思考。

罗云表示,数据、向量数据库、大模型三者怎么能更好地服务全行业是首要问题,为此,腾讯云也重新定义了AI Native的开发范式,提供了接入层、计算层、存储层的全面AI化解决方案,使用户在使用向量数据库的全生命周期,都能应用到AI能力。

对话腾讯云:大模型愈发火热,向量数据库将进入蓝海

其中,接入层,腾讯云向量数据库支持自然语言文本的输入,同时采用“标量+向量”的查询方式,支持全内存索引;计算层,AI Native开发范式能实现全量数据AI计算,一站解决企业在搭建私域知识库时的文本切分(segment)、向量化(embedding)等难题;存储层,腾讯云向量数据库支持数据智能存储分布,让企业存储成本降低50%。

了解到,目前腾讯云向量数据库已经在 QQ 浏览器、腾讯视频、腾讯游戏、QQ 音乐、搜狗输入法等 30 + 业务场景中应用,并自研了分布式向量数据库核心引擎 Olama,原名 ElasticFaiss。

并且罗云还透露道,腾讯云向量数据库会作为一个独立的产品在腾讯云官网进行售卖,当然也有和其他产品一起售卖的可能,二者并不冲突。

谈到Olama,其实早在2019年腾讯云就开始了该技术的探索至今已经有4年时间里。但现在腾讯云给 Olama的定位是腾讯云向量数据库的底座之一,向量数据库在Olama的基础之上还有很多丰富的能力。

通过四年时间的发展,腾讯云对Olama也做了大量的改进,其一,向量索引的算法方面,把现在业界优秀的向量算法集成进来,包括腾讯内部自研的先进的向量数据算法也会集成进来;其二,降低Olama的成本,提升稳定性;其三更加自动智能化的对外提供服务。

对于是否会针对不同行业提供差异化服务?

罗云给出了否定的回复。他表示,腾讯云的向量数据库是一个标准的平台型产品,这是非常确定的。

对于是否能服务全行业,罗云则认为,二者没有很强的因果关系,核心还要看哪些行业和AI的结合,更早、更快。

同时,他也给出了三个有代表性的方向:

随着大模型火热程度的持续攀升,向量数据库的号角呀即将吹响,正如罗云所言,如果你看好大模型,那你一定会看好向量数据库。

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/29d553d897df8f7066bc.html
全局中部横幅
全局中部横幅
起点中文网

小说阅读,精彩小说尽在起点中文网.起点中文网提供玄幻小说,武侠小说,原创小说,网游小说,都市小说,言情小说,青春小说,历史小说,军事小说,网游小说,科幻小说,恐怖小说,首发小说,最新章节免费

中国摩擦片网

南通海天摩擦材料科技有限公司专业生产各类摩擦片、机械用工业印刷机械刹车片、包装机械制动器摩擦片、纺织机械离合摩擦片、橡胶机械制动器刹车片、线缆机械设备摩擦片、食品机械离合器摩擦片、工程机械制动电机刹车片、风电偏航制动刹车片等高端摩擦制品。

租电脑,电脑租赁,笔记本出租,iPad租赁,投影仪租赁,电视机租赁

上海盈睿信息科技有限公司(盈睿租赁)是一家专业从事电脑租赁、笔记本电脑租赁、苹果设备租赁、投影仪租赁和电脑周边设备租赁以及技术服务的企业

游戏新闻

游戏121提供全网最新游戏新闻、游戏评测、攻略、常见问题等图文心得。一站式为您解决网络游戏、单机、手机、主机游戏等最新疑问,更多精彩游戏内容就上游戏121。

高速光模块哈巴焊机,线束脉冲热压焊锡机,光器件/墨盒芯片再生焊接机,手动PCB分板机,FPC冲压模具分板机,广东亚兰装备技术

广东亚兰装备技术专注电子设备研发、生产、销售、服务为一体的综合性配套厂商,公司主打产品有脉冲热压焊锡机,陶瓷片脉冲热压机,脉冲式热压机,bosa脉冲热压焊锡机,hotbar哈巴焊机,排线哈巴机焊头,墨盒芯片再生焊接机,墨盒芯片热压机,光器件焊接机,高速光模块焊接机,SFP、XFP、QSFP等高速线束焊锡机,光通讯模块热压机,PCB分板机,冲床分板机,铡刀式分板机等,全国售后服务电话:13528582360.

TP347不锈钢管

浙江宏盛特钢有限公司专业生产347H不锈钢管厂家,公司347不锈钢管已通过国家A级压力管道认证,欧盟PED认证及英国劳氏质量管理体系认证。产品主要应用于火电厂内大型锅炉过热器,再热器,蒸汽管道,石油化工的热交换器管件。

江苏鸿广泵阀科技有限公司

江苏鸿广泵阀科技有限公司创办以来,我们致力于“鸿广”产品的研究与开发,经过全体“鸿广”人的努力与各界朋友的热心帮助和鼎立支持,发展至今,已成为一家产品全面覆盖钢铁、电力、冶金、石油、化工、食品卫生、市政环保等各大行业的中型企业。公司主要生产GWZB、GNZB系列高效节能自吸泵、WFB无密封自吸泵、IH型化工泵、D系列自平衡多节泵、MS型单级双吸中开离心泵、HJ型耐腐蚀碱泵、CZ系列标准化工泵、FY系列液下泵...

拨号云

官网(www.bovps.com)是专业提供全国海量优质的动态拨号VPS服务器,全国200+城市节点。自营机房实时秒换IP为企业/个提供IP解决方案。

奥雅之光官网

百田奥雅之光官网提供奥雅之光小游戏下载,最新奥雅之光攻略秘籍。欢迎到百田奥雅之光论坛与玩家交流。

全局底部横幅