Execution TensorFlow推出Eager 紧跟未来深度学习框架需求 (executive)

文章编号:46333 资讯动态 2024-12-10 TensorFlow Execution Google Eager

雷锋网按:Google的TensorFlow是AI学习者中使用率最高、名气也最大的深度学习框架,但由于TensorFlow最早是基于Google的需求开发的,在实际使用上也会存在如 文档乱、调试难 等诸多缺点,而且开发时间比较早未能及时对一些新的需求进行反应(据雷锋网了解,由于缺乏类似PyTroch、DyNet的动态图功能,Lecun就不止一次吐槽过TensorFlow是“过时的深度学习框架”(yesterday deep learning framework)),而针对用户的需求,Google也在对TensorFlow不断改进。在10月31日,Google为TensorFlow引入了动态图机制Eager Execution,而Google Brain Team的工程师Asim Shankar和Wolff Dobson也在Google官方博客发文详细阐述了这一功能带来的变化,雷锋网摘编如下:

同时Google还举了一些使用 Eager Execution 的直观例子,例如使用两个矩阵相乘的代码是这样编写的:

使用 print 或者 Python 调试器检查中间结果也非常直接。

梯度与自定义梯度

大多数 TensorFlow 用户对自动微分感兴趣。因为每次调用期间可能会产生不同的运算,因此我们将所有的正向运算录到一个“磁带”上,并在计算梯度时进行反向运算。计算了梯度之后,这个“磁带”就没用了。

这一API与 autograd 包非常类似,例子如下:

在这里,gradients_function 先调用了一个预先定义的 Python 函数 square() 作为参数,并返回一个 Python 可调用函数 grad 来计算相对于输入的 square() 的偏导数。如以上例子中当输入为 3.0 时, square() 的计算结果为9,而 grad(3.0) 为对 square() 进行偏导,其计算结果为 6。

同样,我们也可以调用 gradient_function 计算 square 的二阶导数。

此外,用户也可能需要为运算或函数自定义梯度。这一功能可能有用,例如,它可以为一系列运算提供了更高效或者数值更稳定的梯度。

以下是一个自定义梯度的例子。我们先来看函数 log(1 + e^x),它通常用于计算交叉熵和对数似然。

上述例子中,当 x=0 时,梯度计算表现良好。然而由于数值的不稳定性,当 x=100 时则会返回`nan` 。使用上述函数的自定义梯度可用于分析简化梯度表达式。

使用 Eager 和 Graphs

Eager execution 使开发和调试互动性更强,但是 TensorFlow graphs 在分布式训练、性能优化和生产部署中也有着诸多优势。

当启用 eager execution 时,执行运算的代码同时还可以构建一个描述 eager execution 未启用状况的计算图。要将模型转换成图形,只需在新的 Python 进程中运行同样的代码即可。这一做法可以从检查点保存和修复模型变量值,这允许我们在 eager(命令式)和 graph(声明式)编程之间轻松转换。通过这种方式可以轻松地将启用 eager execution 开发出的模型导出到生产部署中。

在不久的将来,我们将提供工具来选择性地将模型的某些部分转换为图形。这样就可以融合部分计算(如自定义RNN单元的内部),以实现高性能并同时保持eager execution的灵活性和可读性。

新功能势必带来代码编写上的变化。Google还很贴心地给出了几个Tips:

更多内容可参阅 Google博客 。

原创文章,未经授权禁止转载。详情见 转载须知 。

紧跟未来深度学习框架需求,推出Eager Execution


本文地址: https://www.gpxz.com/article/44124ac1e81c9139d1c2.html
全局中部横幅
全局中部横幅
地下城与勇士:创新世纪

《地下城与勇士:创新世纪》DNF官方网站。《地下城与勇士:创新世纪》是全球2D横版格斗网络游戏(MMOACT)的先行者。无限连击的动作特性、极富多样化的职业分支、精准的操作与多样化副本体验,让玩家全方位体验打击爽快感。

wika威卡压力表

北京博朗宁科技是一家集研发、生产、贸易为一体的综合型企业,主要生产wika压力表、威卡压力变送器等产品,我们优质的产品和完善的服务为客户提供优良用户体验。

沃零

沃零(www.w024.com)为全球进出口企业搭建一个全面高效的外贸服务平台,为国内外企业提供高质量高水准的贸易相关增值服务、供求信息服务和业务推广服务等相关服务,促进企业成交,为高品质的国外企业产品服务,满足中国市场消费者的需求,推动世界经济发展.

佑荣索福恩建筑咨询有限公司

佑荣索福恩建筑咨询有限公司致力于幕墙设计及咨询工作,设计团队长期与国内外的幕墙专家保持交流和合作,采取国外先进的设计理念和管理技术,在实际应用的基础上不断自主创新。经过多年的实践,研制出了各种性能优越的建筑幕墙和幕墙产品,在项目中所涉及的幕墙系统主要有:双层节能(呼吸式)幕墙、单元式幕墙系统、点支式幕墙系统、框架式玻璃幕墙系统、石材、千思板、陶土板幕墙(背栓式、铝挂件、背槽式等)、独特的铝合金幕墙(隐框窗、隐扇窗等)等数十个品种。

制砂机

【豫矿是新型制砂机厂家】提供各种建筑用砂制砂设备:河卵石型、鹅卵型、新型、移动制沙机,制沙生产线工艺设计,易损件成本低,咨询设备价格请联系:15333827088

华硕企业管理咨询(东莞)有限公司

华硕企业管理咨询(东莞)有限公司

安恒信息

安恒信息是一家AI引领的数字安全和数据要素领军企业,入选科创板创新力30强,以DAS(数据保护和利用、AI、安全服务)为核心战略,以安全AI智能体恒脑3.0驱动,为逾10万家政企单位客户提供安全产品及服务。

当下热门的手游知识

小桔子手游网,分享当下最热门的手游技术知识,迷你世界玩法攻略汇总。如果你喜欢,欢迎收藏我们!

电抗器

萨顿斯主营电抗器,滤波器,变压器,正弦波滤波器,谐波滤波器,等各类谐波治理产品,非标定制,免费方案设计.采用德国技术,适配各品牌变频,荣获CE/ROSE等各项专利认证!2年质保,免费测试!欢迎致电萨顿斯STS,热线021-64619085/15601797603.

计量设备校准

苏州方圆仪器设备校准检测服务有限公司是一家提供计量设备仪器校准服务的检测校准机构.多年行业经验,服务响应快,费用合理,流程透明,服务周到.咨询热线:17315817690.

15年专业包胶织带以及制品(织带包胶,

15年专业包胶织带以及制品(织带包胶,全能皮腰带,地铁拉手带,宠物项圈)生产厂家,ISO9001认证工厂,连续6年广东省重合同守信用企业,百强橡塑科技有限公司。

全局底部横幅