首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    用沐神的方法阅读PyTorch FX论文

    【GiantPandaCV导语】torch.fx对于PyTorch来说确实是一个比较好的工作,因为它消除了一些动态图和静态图的Gap。比如在图改写方面,torch.fx让PyTorch想做一些其它静态图框架的算子融合优化非常容易。并且torch.fx让后训练量化和感知训练量化以及AMP等的实现难度大大降低,这得益于我们可以直接在Python层操作这个IR,所以我认为这是一个不错的工作。尤其是对使用PyTorch开发的算法工程师来说,现在可以基于这个特性大开脑洞了。我之前围绕FX也做了一个QAT的工作,感兴趣可以阅读:基于OneFlow实现量化感知训练。torch.fx的卖点就是,它使用纯Python语言实现了一个可以捕获PyTorch程序的计算图并转化为一个IR的库,并且非常方便的在这个IR上做Pass,同时提供将变换后的IR Codegen合法的Python代码功能。我觉得算是达到了在Eager下写Pass就像做链表插入删除题目一样顺滑。

    04

    2018的第一份书单

    1.《fluent python》(中文版:《流畅的python》) 这本书来源于某个公众号的推荐(忘了是哪个了),在读这本书之前,已经阅读了市面上很多python书籍,比如《python核心编程》,《python学习手册》,《python源码剖析》,这些书籍在一定程度上写的很不错,但给你的感觉就像是读官方文档,没有注入作者自己的想法,直到遇上了《流畅的python》,这本书从数据模型开始讨论,从python的基础数据结构开始引入整个python的设计哲学,对!这本书灌输给你的就是python是如何设计它的语言特性的,一般的书你读了可能就是对的,就应该这么写,作者不会去剖析为什么要这么写,这本书不然,处处体现了python的为什么要这么设计,而不是告诉你要怎么写。不剧透了,如果要进阶python,这本书是不二之选。(注:如果有可能可以去读读英文原版,因为我读了翻译版后,找了原版再去复习了一遍,感觉目前的翻译版本翻译的不怎么好,有些细节在翻译的过程中丧失了。) 2.《designing data-intensive application》(暂无翻译版) 这本书是有关数据系统设计的书,可以这么说,读完这本书再去读大数据的相关论文就是事半功倍,很后悔之前没读这本书就读了那些大数据的相关论文,现在慢慢的回过头再去回味那些论文,很多疑惑都解开了。全书以数据库评价指标开头,从单机的数据模型,存储、搜索、文件格式、传输慢慢聊到分布式系统下的一致性和共识,最后再整合,让你拍案叫绝。唯一的遗憾在于它至今没有中文版。 3.《programming in Scala》(中文版:《Scala编程》) 这本书的作者就是Scala的设计者,显然书籍的含金量不容置疑。全书充满着书生的学究气,不把一件事挖到底决不罢休。作为语言的设计者,除了描述Scala的使用,也会讲述Scala这门语言为什么要这么设计。如果你是初学者,我觉得这本书不适合你,虽然这本书也包含了入门,但是作者显然没把你当作初学者看待。 其实还读了一些网上书单推荐的书,例如《高可用架构》,《clean architecture》等,这些书感觉都像是一种描述性的语气讲述着知识点,知其然而不知其所以然,读读即可。

    01
    领券