Press "Enter" to skip to content

谷歌首次展示新版语言模型BERT,参数达4810亿个

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

近日,机器学习开放组织 MLCommons 发布了 MLPerf 训练基准(v1.1) 的结果。

 

MLPerf 训练是一个完整的系统基准测试,用于测试机器学习模型、软硬件等。上一轮 MLPerf 训练基准(v1.0)发布于 5 个月前,与之相比,本次最佳基准测试结果提高了 2.3 倍,在软硬件和系统规模方面都有了实质性的改进。

 

 

(来源:MLCommons)

 

MLPerf 训练基准的内容由封闭式和开放式两个部分组成。开放式区别于封闭式的地方是,开放式的参与者可以提交各种模型,而封闭式为确保一个相对公平的竞争环境,只允许提交相同的参考模型。

 

值得一提的是,谷歌在本次基准测试的开放式部分提交了之前从未公开过的新版 BERT 自然语言程序。

 

新的 BERT 程序规模比通行的 BERT 标准版本大了 3 个数量级,神经网络参数达到 4810 亿个,而标准版 BERT 只有 3.4 亿个参数。更多的参数通常意味着需要更多的计算能力。

 

据了解,为了得到更大的 BERT 模型,谷歌使用的计算机搭载了 2048 个 TPU(Tensor Processing Unit)芯片。与英伟达的 GPU 不同,TPU 是谷歌针对机器学习专门定制的芯片。此“2048-TPU 系统”目前可以通过谷歌云服务获得。

 

图 | MLPerf 训练基准(v1.1)开放式结果(来源:MLCommons)

 

谷歌表示,这一新颖的语言模型反映了 AI 规模日益增长的重要性。

 

谷歌还说,其能够以 63% 的效率运行庞大的 BERT 模型,这比英伟达和微软共同开发的 Megatron-Turing 语言模型 52% 的效率要好。该效率是通过相对于理论容量每秒执行的浮点运算数量来衡量的。

 

构建越大的 AI 深度学习程序,越需要使用更多的 GPU 芯片或新型加速器芯片。研究人员认为,程序的准确性随着 AI 规模的增加而增加。

 

谷歌机器学习基础设施负责人阿鲁沙·塞尔万(Aarush Selvan)说:“我们一直在确保向 MLPerf 提交的文件与自身内部需求以及机器学习行业的需求完全一致。培训 AI 大模型在谷歌内部变得越来越重要。其是我们研究和生产的一大重点,也是我们的云客户所关注的重点。”

 

塞尔万还说道,AI 大模型有着成百上千亿个,甚至超过万亿的参数。在 MLPerf 竞赛中有某种大型基准是非常有好处的,MLCommons 应该考虑更多的大模型来衡量大规模培训的表现,像 ResNet-50 这样较老、较小的网络“只能给我们提供一个代理”。

 

MLCommons 的执行董事大卫·坎特(David Kanter)对此表示,大模型的建立需要所有成员共同决定。他同时指出,使用小型神经网络作为测试,能够让更多的成员参与竞争。这有助于为整个社区生产更多有价值的工程产品,并帮助推动行业不断向前发展。

 

“基准的关键是要公平和有代表性,而且也得考虑到经营者的承受能力,不能让其破产。从理论上讲,我们可以把 GPT-3 作为 MLPerf 基准,但培训 GPT-3 相当昂贵,需要数千万美元。”坎特补充说。据悉,GPT-3 是 OpenAI 在 2020 年推出的有着 1750 亿参数的自然语言模型。

 

此外,MLPerf 标准测试的代码对每个人都是开放的,任何 AI 研究人员都可以复制测试结果进行重新验证。

 

谷歌今年早些时候在高度并行化神经网络方面做了一定研究,其中概述的设计与本次展示的巨型 BERT 模型类似。该公司认为,巨型 BERT 模型经过训练,可以产生更具准确性的结果。

 

在封闭式部分测试中,谷歌使用了较小的 BERT 模型。同时,为了达到与其他供应商在封闭式部分相同的准确性,谷歌还使用了较少的文本数据样本。封闭式部分要求一个程序训练近 5 亿个令牌序列,每个序列的长度大多为 128 个令牌。谷歌的程序只使用了大约 2000 万个令牌序列,每个序列长度为 512 个令牌。

 

塞尔万说,谷歌打算在未来继续提交 MLPerf 的封闭式部分基准。“明年或许将看到所有人回到封闭式赛区,虽然不能保证,但我们计划那样做。”他说。

 

 

图 | 机器学习(来源:Pixabay)

 

整体来看,MLPerf 训练基准(v1.1)的结果进一步推动了 MLCommons 的目标,即通过比较机器学习系统、软件和解决方案,提供基准和指标,使行业竞争环境更加公平。

 

“通过对体系结构、系统规模、软件、模型划分等方面的优化,”坎特说,“供应商正设法加速神经网络的性能,其速度比摩尔定律的历史轨迹快 11 倍。”

 

据了解,本次的基准测试共有 14 个组织参与,包括微软 Azure、百度、戴尔、富士通、技嘉、谷歌、Graphcore、HabanaLabs、HPE、浪潮、联想、英伟达、三星和超微,发布的同行评审结果数量超过 185 个。

 

MLCommons 与其合作伙伴,包括全球技术提供商、学者和研究人员,通过各种方式为整个机器学习行业构建工具。

 

“回顾 2018 年的第一轮 MLPerf 训练,我们一些基准的性能提高了 30 倍,”坎特说,“这种性能的快速增长将激发出新的机器学习创新,最终使社会受益。”

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。