AI 周报:72名图灵奖得主背景大调查;AI专业报考指南来了;Jeff Dean领衔AI芯片设计方案登上Nature(6.8~6.14)

导读:设计一款高端芯片有多难?想象一下要将上百亿个晶体管集成到指甲盖大小的区域上,还要进行各类功能区域规划,这是一项多么微观且浩瀚的工程。如今,随着 AI 技术深入到芯片设计领域,一场效率革命可能要再次席卷而来。
来自由谷歌大脑团队以及斯坦福大学的科学家们提出了一种基于深度强化学习的芯片设计方案。在不到 6 小时的时间内,由该方法自动生成的芯片平面图在所有关键指标上(包括功耗、性能和芯片面积等参数)都优于或与人类专家生成的设计图效果相当,而人类工程师往往需要数月的紧张努力才能达到如此效果。

一、技术理论前沿

1. 20 亿参数,大型视觉 Transformer 来了,刷新 ImageNet Top1

基于注意力机制的 Transformer 架构已经席卷了 CV 领域,并成为研究和实践中日益流行的选择。此前,Transformer 被广泛用于 NLP 领域。有研究者仔细研究了自然语言处理中 Transformer 最优扩展,主要结论是大型模型不仅性能更好,而且更有效地使用了大量计算预算。然而,目前尚不清楚这些发现在多大程度上能够迁移到视觉领域。例如,视觉中最成功的预训练方案是有监督的,而 NLP 领域是无监督预训练。

在这篇论文中,原 ViT 团队成员、谷歌大脑的几位研究者集中研究了预训练 ViT 模型用于图像分类任务的迁移性能的扩展规则(scaling law)。特别是,研究者试验了从 500 万到 20 亿个参数不等的模型、从 3000 万到 30 亿个训练图像不等的数据集以及从低于 1 个 TPUv3 核每天(core-day)到超过 10000 个核每天的计算预算。其主要贡献是描述 ViT 模型的性能计算边界。

在这个过程中,研究者创建了一个改进的大规模训练方案,探索了训练超参数以及发现微妙的选择,大幅改善小样本迁移性能。具体来说,研究者发现非常强的 L2 正则化,仅应用于最终的线性预测层,导致学习到的视觉表征具有很强的小样本学习能力。

例如,在 ImageNet 数据集(有 1000 个类)上,每个类只有一个示例,该研究的最佳模型达到 69.52% 的准确率;如果每个类有 10 个示例,准确率达到了 84.86%。此外,该研究大大减少了 [11] 中提出的原始 ViT 模型的内存占用,通过特定于硬件的体系架构更改和不同的优化器来实现这一点。结果表明,该研究训练了一个具有 20 亿个参数的模型,在 ImageNet 数据集上达到了新的 SOTA 性能 90.45% 的准确率。可以看到,在 SOTA 基准排行榜上,ViT-G/14 模型的 Top-1 准确率已经超越了谷歌之前提出的 Meta Pseduo Labels 模型。

内容来源:

https://mp.weixin.qq.com/s/VSC_qjLejz764fv82LH1uA

2. 实现 AGI,强化学习就够了?Sutton、Silver 师徒联手:奖励机制足够实现各种目标

人们把具备与人类同等智慧、或超越人类的人工智能称为通用人工智能(AGI)。这种系统被认为可以执行人类能够执行的任何智能任务,它是人工智能领域主要研究目标之一。关于通用人工智能的探索正在不断发展。近日强化学习大佬 David Silver、Richard Sutton 等人在一篇名为 Reward is enough 的论文中提出将智能及其相关能力理解为促进奖励最大化。

该研究认为奖励足以驱动自然和人工智能领域所研究的智能行为,包括知识、学习、感知、社交智能、语言、泛化能力和模仿能力,并且研究者认为借助奖励最大化和试错经验就足以开发出具备智能能力的行为。因此,他们得出结论:强化学习将促进通用人工智能的发展。

内容来源:

https://mp.weixin.qq.com/s/XTNyLjZ9KfdtHY4Omb9_4w

https://www.sciencedirect.com/science/article/pii/S0004370221000862

3. AI 助力芯片设计效率革命!Jeff Dean 领衔推出最新方案,6 小时内完成布局设计,新一代 TPU 已用上

目前,最基本的芯片晶体管部件都是微米、纳米级尺度,如何铺设和利用这几百亿个晶体管,如何通过模块设计组合迸发出一款芯片的极致性能,如何满足日益增长的终端需求,这是如今芯片设计工程师们面临的严苛挑战。

来自由 Jeff Dean 领衔的谷歌大脑团队以及斯坦福大学计算机科学系的科学家们,在一项联合研究中证明,一种基于深度强化学习的芯片布局规划方法,能够生成可行的芯片设计方案。在不到 6 小时的时间内,由该方法自动生成的芯片平面图在所有关键指标上(包括功耗、性能和芯片面积等参数)都优于或与人类专家生成的设计图效果相当,而人类工程师往往需要数月的紧张努力才能达到如此效果。

据论文描述,如今这种方法已经被用于下一代 Google 张量处理单元(TPU)加速器的产品中,有望为今后的每一代计算机芯片迭代节省数千小时的人力,相关论文于 6 月 10 日发表在顶级科学期刊 Nature 上,谷歌 AI 掌门人 Jeff Dean 是核心作者之一。

内容来源:

https://mp.weixin.qq.com/s/-dvgLsH6N51Wu9ZHS0Bv6Q

https://www.nature.com/articles/s41586-021-03544-w

4. AI 高仿你的笔迹只需 1 个词,Deepfake 文字版来了,网友:以假乱真太可怕

Facebook AI 最新出品了一种 “文字风格刷”(TextStyleBrush),它只需要一张笔迹的照片,就能完美还原出一整套文本字迹来。还能直接实现风格替换,让蔬果店里的所有印刷字都变成手写体。

在实际使用过程中,TextStyleBrush 真的就是个格式刷,哪里需要刷哪里。它真正厉害的就是模拟手写字体。只需输入一段文本内容,加上你的笔迹,1 个单词即可,它就能生成 “手写版”。这个效果,用肉眼看真的是分辨不出真伪。模拟特定字体格式时,TextStyleBrush 表现也很不错。包括海报、垃圾桶、路牌、饮料瓶、店面装饰…… 各种文字的风格都能 handle:

TextStyleBrush 生成的图片在合成误差(MSE)上大幅降低,峰值信噪比(PSNR)和结构相似性(SSIM)也提高不少。据 Facebook 介绍,“文字风格刷” TextStyleBrush 是一个基于自监督方法训练的模型,可以对相同文本内容的文字进行风格转换,就像格式刷一样。当然,不只是 Word 的格式刷,它甚至能直接对照片中的文字进行替换,因此模型还需要学习文字识别和图像分割的方法。

该程序一发行就引发了网友讨论。例如:合成后的笔迹足以以假乱真,如果被滥用或恶意使用怎么办?假设任何一个人的笔迹都能被非常轻松地合成,那许多需要签字的场合该怎么办呢?而除了安全隐私问题上的担忧,这对字体设计师来说也不是个好消息。

内容来源:

https://mp.weixin.qq.com/s/rmJSazmGu94R6o6BYgBNyw

二、观点评论解读

1. 向大脑学习智能本质,探索通用 AI 的另一条可行路径

在近期举办的 “2021 北京智源大会” 的全体大会环节以及重大研究方向 “人工智能的认知神经基础” 专题论坛上,该方向的科学家邀请了来自于美国、瑞典、德国和日本的六位国际顶尖科学家分享了他们在类脑研究领域的经验和最新成果,以及人工智能未来发展可能存在什么样的瓶颈及相应的解决思路。此外,围绕 “AI 与脑科学的错位 —— 此认知非彼认知” 这一主题,该方向也进行了深度探讨,并就智源 “天演” 模型研究进展做了工作汇报。主要有以下观点:

观点一:利用信息几何方法理解深度学习的泛化行为,解释深度神经网络的学习机制。观点二:在高精度模型上探索大脑的通用智能,从大脑结构和功能入手探索通用人工智能的新方向。观点三:借鉴人类大脑在概念表征、情境信息处理等方面的工作机理,提高机器智能的感知和认知能力。观点四:基于人类视觉感知机理设计和评估机器视觉算法,促进类脑视觉系统的创新研究。观点五:融合人类视觉感知与注意选择的机制,完善人类视觉感知框架,启发类脑智能系统研究。观点六:借鉴最新的大脑学习机制,发展新一代的人工智能强化学习系统。观点七:建设生物智能开源开放平台,基于认知神经科学的研究理论、方法、数据和开源工具,探索实现新一代通用人工智能的可行路径。

内容来源:

https://mp.weixin.qq.com/s/3-fRtoUayfplyt3g3Wp9kQ

2. AI 专业报考指南:开设高校、就业前景、未来薪酬、报考误区

与国外相比,我国高校人工智能人才培育起步较晚,但近年来我国人工智能学科和专业正在加快推进,教育部特制定《高等学校人工智能创新行动计划》,为我国新一代人工智能发展提供战略支撑。《计划》中提出,要加强人工智能领域专业建设,推进 “新工科” 建设,形成 “人工智能 + X” 复合专业培养新模式。科技情报大数据挖掘与服务系统平台 AMiner 咨询团队专门对 AI 行业发展进行深入研究分析,出具了人工智能系列报告。报告针对人工智能领域,总结分析了我国 AI 领域科技进展、人才发展以及技术发展前景,可以为各位学子的高考专业选择提供有效信息参考。

2019 年 3 月,教育部发文批复了 35 所高校作为 “人工智能” 首批新专业建设资格,首次确定了人工智能这个本科专业,包括南京大学、浙江大学、北京航空航天大学、上海交通大学等高校在内。2020 年,全国范围内获得人工智能专业首批建设资格的共有 180 所,北京邮电大学、复旦大学、中国人民大学、中国农业大学等名校都在列。截至目前,国内共有 215 所高校成立 “人工智能” 本科专业。这些高校之中,有 60 所双一流大学(占比 28%),其他 155 所为普通本科院校。

内容来源:

https://mp.weixin.qq.com/s/Z6vlPofre4cT41kIPKwC-Q

3. 科学家调查了 72 名图灵奖得主背景,却发现计算机专业很难得奖!

最近,来自罗切斯特大学罗杰波团队发表最新论文,三位作者从不同渠道收集了截至 2020 年以前所有图灵奖获奖者的资料,包括个人信息、家庭背景和学术背景。并且试图从统计学角度来分析图灵奖与这些背景经历的关系。截至 2020 年,图灵奖一共举办了 54 届,有 72 名获奖者。其中 16 次是颁给了两人以上的研究团队。而 72% 的奖项颁给了个人。

论文分析了所有获奖者的研究方向,其中人工智能、计算机语言以及密码学是位列前三的专业领域。这也从侧面反映出如今人工智能如今在计算机科学领域前沿的地位。

论文还从一个有意思的角度分析了获奖者的规律:如果家中只有一个兄弟姐妹,他 / 她通常是更小的那位,而如果家中多于一个兄弟姐妹,则他 / 她通常是家里的老大。

根据统计,在获奖名单中,61 名 PhD,5 名硕士,6 名学士。严谨地验证了学术成就和学位之间的必然联系。不过在选专业环节就要认真考虑了:所有图灵奖获得者中,1/3 来自是数学专业,只有 1/3 毕业于计算机专业并且都是双学位。随后论文作者也在补充:部分原因是计算机专业成立的较晚。另外电子工程和物理也是得奖的热门专业。

内容来源:

https://mp.weixin.qq.com/s/Ft783q12qxjr35PjTGeCcw

三、产业动态聚焦

1. Facebook 万字长文:AI 模型全部迁移至 PyTorch 框架

PyTorch 自 2017 年推出以来,就迅速占领 GitHub 热度榜榜首,一度有赶超 Tensorflow 的趋势。这是一个开源的 Python 机器学习库,基于 Torch,底层由 C++ 实现。近日,Facebook 宣布要将所有的人工智能系统迁移到 PyTorch。Facebook 的 AI 模型每天为使用自家技术的数十亿人执行数万亿次推理操作。为了满足这种不断增长的需求,Facebook 需要不断发展自身的 AI 框架。

考虑到 Python 在计算科学领域的领先地位,以及其生态完整性和接口易用性,几乎任何框架都不可避免地要提供 Python 接口。PyTorch 不是简单地封装 Lua Torch 提供 Python 接口,而是对 Tensor 之上的所有模块进行了重构,并新增了最先进的自动求导系统,成为当下最流行的动态图框架。PyTorch 最初版本在开源社区 GitHub 中引起了轰动,并且很快成为人工智能研究人员首选的深度学习库。PyTorch 提供了一个无约束的环境,在这个环境中,程序员们可以真正地表达自己的想法。一经推出就立刻引起了广泛关注,并迅速在研究领域流行起来。

PyTorch 迁移的目标是为工程师和开发人员创建一个更顺畅的端到端开发人员体验。平均每天有 4000 多个模型在 PyTorch 上运行。Facebook 的开发人员在他们的模型完全迁移到 PyTorch 之前经历了多个阶段,包括关键的离线和在线测试、训练 (通常还有再训练)、推断和发布。还进行了多个测试,以检查 Caffe2 和 PyTorch 之间的性能和正确性差异,这可能需要工程师长达数周的时间才能完成。

内容来源:

https://mp.weixin.qq.com/s/lp9h2LY5yUE3the033DIag

https://ai.facebook.com/blog/py

发表评论

Fill in your details below or click an icon to log in:

WordPress.com 徽标

您正在使用您的 WordPress.com 账号评论。 注销 /  更改 )

Google photo

您正在使用您的 Google 账号评论。 注销 /  更改 )

Twitter picture

您正在使用您的 Twitter 账号评论。 注销 /  更改 )

Facebook photo

您正在使用您的 Facebook 账号评论。 注销 /  更改 )

Connecting to %s