Execution TensorFlow推出Eager 紧跟未来深度学习框架需求 (executive)

文章编号:46333 资讯动态 2024-12-10 TensorFlow Execution Google Eager

雷锋网按:google的TensorFlow是AI学习者中使用率最高、名气也最大的深度学习框架,但由于TensorFlow最早是基于Google的需求开发的,在实际使用上也会存在如 文档乱、调试难 等诸多缺点,而且开发时间比较早未能及时对一些新的需求进行反应(据雷锋网了解,由于缺乏类似PyTroch、DyNet的动态图功能,Lecun就不止一次吐槽过TensorFlow是“过时的深度学习框架”(yesterday deep learning framework)),而针对用户的需求,Google也在对TensorFlow不断改进。在10月31日,Google为TensorFlow引入了动态图机制Eager Execution,而Google Brain Team的工程师Asim Shankar和Wolff Dobson也在Google官方博客发文详细阐述了这一功能带来的变化,雷锋网摘编如下:

同时Google还举了一些使用 Eager Execution 的直观例子,例如使用两个矩阵相乘的代码是这样编写的:

使用 print 或者 Python 调试器检查中间结果也非常直接。

梯度与自定义梯度

大多数 TensorFlow 用户对自动微分感兴趣。因为每次调用期间可能会产生不同的运算,因此我们将所有的正向运算录到一个“磁带”上,并在计算梯度时进行反向运算。计算了梯度之后,这个“磁带”就没用了。

这一API与 autograd 包非常类似,例子如下:

在这里,gradients_function 先调用了一个预先定义的 Python 函数 square() 作为参数,并返回一个 Python 可调用函数 grad 来计算相对于输入的 square() 的偏导数。如以上例子中当输入为 3.0 时, square() 的计算结果为9,而 grad(3.0) 为对 square() 进行偏导,其计算结果为 6。

同样,我们也可以调用 gradient_function 计算 square 的二阶导数。

此外,用户也可能需要为运算或函数自定义梯度。这一功能可能有用,例如,它可以为一系列运算提供了更高效或者数值更稳定的梯度。

以下是一个自定义梯度的例子。我们先来看函数 log(1 + e^x),它通常用于计算交叉熵和对数似然。

上述例子中,当 x=0 时,梯度计算表现良好。然而由于数值的不稳定性,当 x=100 时则会返回`nan` 。使用上述函数的自定义梯度可用于分析简化梯度表达式。

使用 Eager 和 Graphs

Eager execution 使开发和调试互动性更强,但是 TensorFlow graphs 在分布式训练、性能优化和生产部署中也有着诸多优势。

当启用 eager execution 时,执行运算的代码同时还可以构建一个描述 eager execution 未启用状况的计算图。要将模型转换成图形,只需在新的 Python 进程中运行同样的代码即可。这一做法可以从检查点保存和修复模型变量值,这允许我们在 eager(命令式)和 graph(声明式)编程之间轻松转换。通过这种方式可以轻松地将启用 eager execution 开发出的模型导出到生产部署中。

在不久的将来,我们将提供工具来选择性地将模型的某些部分转换为图形。这样就可以融合部分计算(如自定义RNN单元的内部),以实现高性能并同时保持eager execution的灵活性和可读性。

新功能势必带来代码编写上的变化。Google还很贴心地给出了几个Tips:

更多内容可参阅 Google博客 。

原创文章,未经授权禁止转载。详情见 转载须知 。

紧跟未来深度框架需求,TensorFlow推出Eager Execution


本文地址: https://www.gpxz.com/article/44124ac1e81c9139d1c2.html
全局中部横幅
全局中部横幅
h5小游戏下载

PC6游戏网为您提供几万个好玩的H5小游戏下载大全,是玩家最喜欢H5游戏下载大全网站和H5小游戏下载大全。

广州公司注册

工商执照、公司注册、财税申报等问题,可以找账品会代办。账品会(400-138-2366)一站式企业服务,已经覆盖广东全省,可以为您提供公司注册代办、代理记账报税、商标注册代理、注册地址挂靠等服务,用心服务、良心保证、客户至上,助力创业者和企业实现梦想。

淘礼金免单网

淘礼金免单网是专注于淘礼金免单线报收集与分享的活动线报网站。涵盖淘宝免单、京东免单、拼多多免单等活动线报,想要免单捡漏,就来淘礼金免单网。

上海丰而溢国际货物运输代理有限公司

上海丰而溢国际货物运输代理有限公司

datasheet资料下载

Datasheet5提供真实准确的6.5亿电子元件查询,集成电路查询,5.8亿datasheet下载,ECAD模型免费下载,FFF替代料推荐,帮助工程师做出全面而稳定的器件选型决定

反制溯源

HFish承载了全新的架构理念和实现方案,是一个安全,简单,有效的蜜罐平台,具有反制溯源,欺骗防御,主动防御等功能,永久免费。

鑫诚科五金

鑫诚科五金-让采购更简单|四川不锈钢标准件|四川不锈钢紧固件四川鑫诚科五金有限公司(原重庆诚科五金有限公司成都分公司)是一家生产、资源整合、配送服务一体的紧固件企业。公司产品类型包括:不锈钢紧固件、高强度紧固件、合金钢紧固件、碳钢紧固件及锚栓紧固件,根据用户需求定制非标产品及异型件;目前,我们服务于通讯、电力、幕墙、太阳能、风能、地铁、化工、泵阀、建筑、船舶、汽车及机械设备等行业客户,并为服务的行业提供最专业的紧固系统解决方案!

金阳中专学校咨询

金阳中专学校咨询,金阳专升本

拜拜导航

拜拜导航网是一站式的专业资源导航网站,汇集了运营、产品、编程、设计、AI技术、短视频等多个领域的顶级资源。无论是设计师寻找创意灵感,程序员寻求编码工具,还是产品经理寻找最新的产品开发策略,拜拜导航导航网提供全面而精准的导航服务,助您快速找到所需的行业资源。

工业工厂物流仓库可用提升门快速门生产厂家价格优惠

70家世界500强企业合作品牌厂家SEPPES西朗门业,旗下快速卷帘门、工业提升门、电动卷帘门等产品,均通过欧盟CE、SGS、CMA、BT4防爆等多项权威认证,全国一百家服务网点,累计出口50个国家。

武汉和欣图文

武汉市和欣图文有限公司作为武汉工程图打印店,专注于提供图纸打印及数码快印服务。我们涵盖工程图扫描、图纸复印、图纸扫描、彩色打印、数码打印以及cad批量打印等服务,满足您的图文处理需求。


全局底部横幅