Execution TensorFlow推出Eager 紧跟未来深度学习框架需求 (executive)

文章编号:46333 最新资讯 2024-12-10 TensorFlow Execution Google Eager

雷锋网按:Google的TensorFlow是AI学习者中使用率最高、名气也最大的深度学习框架,但由于TensorFlow最早是基于Google的需求开发的,在实际使用上也会存在如 文档乱、调试难 等诸多缺点,而且开发时间比较早未能及时对一些新的需求进行反应(据雷锋网了解,由于缺乏类似PyTroch、DyNet的动态图功能,LeCun就不止一次吐槽过TensorFlow是“过时的深度学习框架”(yesterday deep learning framework)),而针对用户的需求,Google也在对TensorFlow不断改进。在10月31日,Google为TensorFlow引入了动态图机制Eager Execution,而Google Brain Team的工程师Asim Shankar和Wolff Dobson也在Google官方博客发文详细阐述了这一功能带来的变化,雷锋网摘编如下:

同时Google还举了一些使用 Eager Execution 的直观例子,例如使用两个矩阵相乘的代码是这样编写的:

使用 print 或者 Python 调试器检查中间结果也非常直接。

梯度与自定义梯度

大多数 TensorFlow 用户对自动微分感兴趣。因为每次调用期间可能会产生不同的运算,因此我们将所有的正向运算录到一个“磁带”上,并在计算梯度时进行反向运算。计算了梯度之后,这个“磁带”就没用了。

这一API与 autograd 包非常类似,例子如下:

在这里,gradients_function 先调用了一个预先定义的 Python 函数 square() 作为参数,并返回一个 Python 可调用函数 grad 来计算相对于输入的 square() 的偏导数。如以上例子中当输入为 3.0 时, square() 的计算结果为9,而 grad(3.0) 为对 square() 进行偏导,其计算结果为 6。

同样,我们也可以调用 gradient_function 计算 square 的二阶导数。

此外,用户也可能需要为运算或函数自定义梯度。这一功能可能有用,例如,它可以为一系列运算提供了更高效或者数值更稳定的梯度。

以下是一个自定义梯度的例子。我们先来看函数 log(1 + e^x),它通常用于计算交叉熵和对数似然。

上述例子中,当 x=0 时,梯度计算表现良好。然而由于数值的不稳定性,当 x=100 时则会返回`nan` 。使用上述函数的自定义梯度可用于分析简化梯度表达式。

使用 Eager 和 Graphs

Eager execution 使开发和调试互动性更强,但是 TensorFlow graphs 在分布式训练、性能优化和生产部署中也有着诸多优势。

当启用 eager execution 时,执行运算的代码同时还可以构建一个描述 eager execution 未启用状况的计算图。要将模型转换成图形,只需在新的 Python 进程中运行同样的代码即可。这一做法可以从检查点保存和修复模型变量值,这允许我们在 eager(命令式)和 graph(声明式)编程之间轻松转换。通过这种方式可以轻松地将启用 eager execution 开发出的模型导出到生产部署中。

在不久的将来,我们将提供工具来选择性地将模型的某些部分转换为图形。这样就可以融合部分计算(如自定义RNN单元的内部),以实现高性能并同时保持eager execution的灵活性和可读性。

新功能势必带来代码编写上的变化。Google还很贴心地给出了几个Tips:

更多内容可参阅 Google博客 。

原创文章,未经授权禁止转载。详情见 转载须知 。

紧跟未来深度学习框架需求,推出Eager Execution


本文地址: /article/44124ac1e81c9139d1c2.html
全局中部横幅
全局中部横幅
哔哩哔哩直播,二次元弹幕直播平台

哔哩哔哩(bilibili)直播,在这里看见最年轻的生活方式,学习、游戏、电竞、宅舞、唱见、绘画、美食等等应有尽有,快来捕捉你最喜欢的up主最真实的一面吧!

铃声多多官网 - 安卓、苹果、电脑官方版下载

铃声多多是精美的铃声应用,涵盖安卓、苹果、pc三大平台,覆盖上亿用户!百万免费铃声,轻松一键设置!铃声,彩铃,短信,闹铃全都搞定。彩铃榜单,铃声分类多多:流行金曲,影视热曲,动漫游戏,短信闹铃,DJ舞曲,搞笑另类,网络神曲,网友上传等。

万邦管理 —— 工程管理咨询智库

万邦工程管理咨询有限公司成立于1988年,2000年初从浙江省审计厅脱钩改制,注册资金2.8亿元,是一家以投资管控为特色,综合性服务、集团化管理的现代型工程管理咨询企业。公司连续多年被评为浙江省知名商号、浙江省信用管理...

问道官方网站-光宇游戏-精品免费回合网游 百万在线巅峰巨作

问道1月9日经典联运数字大服“2026”,来新服天君献瑞抽全新神兽马天君,预充值还有数码奖品京东卡!

视频号小店

视频号小店,无需开发,免费开店。

过硫酸氢钾,过硫酸氢钾底改片,过硫酸氢钾医用消毒粉-山东净蓝环保科技有限公司

山东净蓝环保科技有限公司专业致力于过硫酸氢钾,过硫酸氢钾底改片,过硫酸氢钾医用消毒粉,水产改底片,水质净化改良等相关产品,服务热线:13285367666。

外墙清洗,地毯清洗,园林绿化-东莞市浩忆清洁服务有限公司

东莞市浩忆清洁服务有限公司以专业的管理团队,以及独到的管理模式在同行业中迅速崛起,不断吸引高端管理人才,引进先进的管理模式,为顾客提供一系列精细保洁服务。专业提供驻场保洁、外墙清洗、园林绿化、开荒保洁、四害消杀、石材养护、地毯清洗、空气治理等保洁服务。

炎黄解梦网-周公解梦,免费在线解梦,现代解梦,星座运势,生肖属相。

免费在线周公解梦大全,包括原版周公解梦,现代解梦,西方心理学解梦;同时提供星座运势运程预测,生肖属相知识,易经风水,八字算命,手相面相,起名命名等内容。

成都中阳实业公司-中阳实业-变送器

专门从事敏感检测器件和自动化测量装置设计制造的高技术企业。公司集开发研制、生产制造、技术服务于一体,引进和吸收国外先进技术和工艺,制造出性能优异的CS系列压力传感器和变送器,是众多压力传感器和变送器产品中的姣姣者。

md5在线加密解密

一站加密文加解密平台,数据库庞大且不停更新中,做成功率更高的MD5加解密,做速度更快的MD5加解密,做体验更好的MD5加解密

自媒体文案神器_爆款文案灵感源泉

一个专业的自媒体文案创作平台,提供海量文案模板、素材和工具,帮助您快速生成优质文案。

石家庄印刷厂|石家庄画册印刷|石家庄不干胶印刷|桥西区光线广告制作中心

桥西区光线广告制作中心是石家庄画册印刷|石家庄不干胶印刷的大型石家庄印刷厂,公司印刷质量好,欢迎电话咨询:15373906439

全局底部横幅