英伟达有3项全新微服务 如何给智能体装个 AI护栏 (英伟达只有三个选项)

文章编号:52162 资讯动态 2025-02-01 NeMo英伟达NIM微服务Guardrails

消息,纽约大学研究人员发现,如果一个给定语言模型的训练数据中有的数据 “中毒”(即故意植入错误信息),那么整个训练集将可能传播这些错误。

数据“中毒”影响训练结果,AI的实际部署,安全性同样至关重要。

咨询公司Gartner预测,到2028年,AI智能体将完成 至少15%的日常工作决策并被应用于33%的企业程序。 大量的AI智能体开发需求,让企业解决其中的 信任、物理安全、网络安全以及合规性 等问题显得更加迫在眉睫。

近日,英伟达发布了全新的 保障代理式AI应用安全的NIM微服务,这将消除企业部署生成式AI时的安全疑虑,并且为生成式AI的普及提供安全保障。

全新的NIM微服务是NeMo Guardrails软件工具系列的一部分,这些可移植且经过优化的推理微服务可以帮助企业提高生成式AI应用的 安全性、精准性和可扩展性。

3项NIM微服务,兼顾高安全性和低延迟

NVIDIA NeMo Guardrails是一个开源工具包,允许开发者将 可编程护栏 添加到基于LLM的会话系统中,从而保障人工智能系统的安全与合规。

NeMo Guardrails引入的三项全新微服务,能够帮助AI智能体在 大规模运行时能同时保持受控行为。

内容安全NIM微服务(Content Safety NIM)使用了质量较高的人工注释数据源 Aegis内容安全数据集 进行训练,该数据集包含 超过35000个人工标记的数据样本 ,由英伟达整理并开源,已经在Hugging Face公开发布。高质量的数据集能够有效防止AI生成有偏见或有害的输出结果,确保回答符合道德标准。

英伟达的企业AI模型、软件与服务副总裁Kari Briski表示: “这是同类数据集中质量最高的数据源之一。”

话题控制NIM微服务(Topic Control NIM)能将对话聚焦在经过审核的话题上, 避免离题或不当内容。

越狱检测NIM微服务(Jailbreak Detection NIM)增加了对越狱企图( 指绕过模型的安全防护措施,让模型执行禁止的行为)的防护,帮助在对抗性场景中保持AI的完整性。

如何给智能体装个「AI护栏」?英伟达有3项全新微服务

由于 “一刀切” 的方法无法有效保护和控制复杂的代理式AI工作流,通过应用多个轻量级专业模型作为护栏,开发者可以弥补在只采取较为通用的全局策略和保护措施时可能出现的漏洞。

可编程护栏数量的增加虽然能提升保障能力,但也会导致延迟有所上升,NeMo Guardrails以最小延迟提升保障能力, 极具“性价比”。

增加到5个护栏,延迟仅增加约1.25秒。与增加1个护栏,延迟增加1秒对比,实现显著的优化。这表明,NeMo Guardrails在提升保障能力的同时,对延迟的影响较小, 能够在保证系统性能的前提下提高安全性和合规性。

给汽车、零售、电信等行业的安全、精准、可扩展的「AI护栏」

NeMo Guardrails已向开源社区开放,其NIM微服务解决企业级客户的“后顾之忧”,使开发者能够构建 更加安全、可信的AI智能体。 智能体通过参考特定语境准则做出安全、适当的回答,并且加强了对越狱企图的抵御力度, 实现了在汽车、金融、医疗、制造、零售等行业客户服务中的部署。

软件和服务解决方案提供商Amdocs推出的amAIz平台是一个开创性的电信生成式AI框架,通过集成nvidia NeMo Guardrails,增强了平台的可信AI功能,保障代理式体验的 安全性、可靠性和可扩展性 ,从而让服务提供商能够安全部署AI解决方案。

Amdocs技术集团总裁兼战略主管Anthony Goonetilleke表示:“像NeMo Guardrails这样的技术对于保障生成式AI应用的安全至关重要, 能够帮助AI安全、道德地运行。”

专注于为汽车行业提供AI解决方案的Cerence AI,通过NVIDIA NeMo Guardrails帮助车载助手在其CaLLM系列大语言和小语言模型的支持下 提供符合语境的安全交互。

Cerence AI产品和技术执行副总裁Nils Schanz表示:“NeMo Guardrails可以帮助我们为汽车制造商客户提供可信的情境感知解决方案,并作出 明智、严谨且无幻觉的回答。”

在面向客户的专业知识应用上,更需保证AI生成式回答的安全性与可靠性。

家居装饰零售商劳氏公司通过利用生成式AI巩固店员的专业知识,以此让员工在面对客户的问题时能够“对答如流”。这背后,是NVIDIA NeMo Guardrails将AI的回答 “框定” 在正确的范围内,确保输出的内容 “不翻车”

劳氏公司的数据、AI和创新高级副总裁Chandhu NAir则表示:“我们一直在寻找方法帮助员工为客户提供超出预期的服务。通过部署NVIDIA NeMo Guardrails,保证了AI生成式回答的安全性与可靠性, 将对话强行限制在相关和适当的内容范围内。”

值得一提的是,NeMo Guardrails还 具备较好的开放性和可扩展性 ,可集成由AI安全模型和防护提供商组成的生态系统,以及AI可观察性和开发工具。支持与ActiveFence的ActiveScore(AI安全服务)集成,防止对话式AI应用出现有害或不当内容,并提供可视化、分析和监控功能。

区块链基础设施公司Hive以NIM微服务形式提供适用于图像、视频和音频内容的AI生成内容检测模型,通过使用NeMo Guardrails,Hive可将其模型集成到AI应用中并进行编排。

AI可观测性平台Fiddler与NeMo Guardrails集成, 可增强其监控功能。 端到端AI开发者平台Weights & Biases正在现有NIM集成组合基础上,通过增加与NeMo Guardrails微服务的集成来扩展W&B Weave的功能,以此提升AI推理能力。

此外,NeMo Guardrails还提供用于AI安全测试和漏洞扫描的开源套件NVIDIA Garak,用于LLM和应用漏洞扫描,借助Garak,开发者可以发现使用LLM中的系统中存在的漏洞,发现并解决AI模型中的潜在弱点,提高模型的稳健性与安全性。

目前,NVIDIA NeMo Guardrails微服务以及用于编排rail的NeMo Guardrails和NVIDIA Garak套件已向开发者和企业开放,开发者按照官网上的教程就可以使用NeMo Guardrails为AI客服智能体构建AI护栏。

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
银行网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

呼叫中心外包

【云天祥客服服务外包公司】【咨询热线:13667326711(WX同号)】,云天祥500多为人工座席客服致力为企业提供:客服外包,邀约外包,电商客服外包,电销外包,呼叫中心外包,市场调研外包,电话外呼外包业务。飞祥专业的服务团队能为客户提供更稳定、费用成本更节省、转化更高的外包客服托管服务!

视界网

视界网www.cbg.cn(重庆网络广播电视台)是经国家新闻出版广电总局批准的,以互联网、移动通信网等新兴信息网络为节目传播载体的新形态广播电视播出机构,是重庆市委、市政府在新媒体领域的喉舌,由重庆电视台和重庆人民广播电台联合开办。

电缆之家

电缆之家--专业提供电线电缆价格数据!查电缆价格就上电缆之家!

胶体磨

乳品设备,胶体磨,混合机,研磨机,转子泵,乳化机,钛白加工设备,钛白粉胶体磨,均质机,封闭式胶体磨,胶体泵-销售0577-86999999浙江昊星机械设备制造有限公司-混合器|液料混料泵,沥青胶体磨,气动浆料泵,高剪切乳化机,乳化均质泵.釜底分散乳化机,分散均质乳化混合机,混合泵,卫生阀门管件胶体泵,,饮料加工机械,化工机械,制药机械,制药设备,轻工机械,乳品机械,温州胶体磨厂家,价格优惠,品质优良,欢迎订购!

智慧教育

晓羊集团,作为专注的智慧教育全栈产品与服务提供商,打造数据融通的全栈产品生态,为教育行业提供高效智能产品与服务,创造性地帮助教育行政机关、学校以及教师全面提升管理和专业发展水平,以智慧教育生态全面赋能教育发展。

电动观光车

凯驰主营电动观光车,电动巡逻车,电动老爷车,电瓶看楼车,电动看房车,电动送餐车,流动警务室,电动货运车,电动消防车等,洽谈订购凯驰厂家报价热线:18675598661.

徐州威马机械有限公司

徐州威马机械有限公司,冷再生机,高品质冷再生机

包头GRC

内蒙古时冉建筑装饰材料有限公司主要从事包头GRC,包头EPS,包头隔墙板,包头grc,包头eps,包头GRC构件厂家,内蒙古GRC,呼市EPS等。本公司GRC采用国内整套喷注生产设备,吸收国外生产的经验,并具备经验丰富的设计人员及优良的安装队伍,欢迎来电咨询!

交叉滚子轴承

洛阳博盈轴承是一家交叉滚子轴承,转台轴承生产厂家,主营交叉圆柱滚子轴承,交叉圆锥滚子轴承,YRT转台轴承,谐波减速机轴承等工业机器人轴承,可根据需求制造非标精密轴承,详细型号参数欢迎咨询:0379-80888896.

全局底部横幅