什么是真正的AI芯片?| 对话英特尔AI硬件负责人

-回复 -浏览
楼主 2018-11-07 16:33:34
举报 只看此人 收藏本贴 楼主

5月23日英特尔在美国旧金山举办了首届AI开发者大会(AI DevCon 2018),推出新的AI云端芯片和AI战略,我们采访了英特尔AI产品部门(AIPG)副总裁、AI硬件负责人Carey Kloss,让他为我们揭开NNP芯片的真面目。(源:网易智能)

如今,AI芯片的战火愈演愈烈,英特尔也是时候拿出自己的“深水炸弹”了,而这次天将降大任的就是最新版NNP芯片。

它的全名叫Nervana NNP-L1000(Spring Crest),支持bfloat16这一业界广泛用于神经网络的数字格式,随着时间的推移,英特尔将在AI产品线上扩展对bfloat16的支持,包括英特尔至强处理器和英特尔FPGA,英特尔Nervana NNP的目标是可实现高计算利用率并支持多芯片互连的真正模型并行。

主导这一产品的是英特尔AI产品事业部(AIPG),AIPG是英特尔人工智能的拳头部门,负责策划和执行关于AI方面的研发和产品路线,其中,Carey Kloss是AI硬件的负责人,自1996年以来,他一直在芯片行业从事工作。

这次,关于更多新款AI云端芯片的问题,网易智能对Carey进行了专访。

| 性能提升3到4倍 不畏惧竞争对手

问:Lake Crest和Spring Crest的主要区别是什么?

Carey:Lake Crest是先前的设计,是更稳定的处理器。我们在创业时就开始使用它。进入更现代化的制程节点,我们集成了更多的Die(硅芯片),可以获得更快的处理速度。

我们认为Lake Crest作为软件开发工具(software development vehicle)更好,部分原因是因为我们去支持了bfloat。客户对于能在直接获得成果更兴奋,而不是还需要在中间做一些工作。

性能方面,Lake Crest作为我们第一代处理器,现在被用作软件开发工具的时候,我们实现了在GEMM和卷积神经上都实现了非常好的计算利用率。并且这不仅仅是96%吞吐量的利用率,而是在没有充分定制化的情况下,我们也取得了大多数情况下实现GEMM高于80%的计算利用率,这也是很了不起的。

当我们开发Spring Crest这个下一代芯片时,我们保持高计算利用率,新的产品在性能上有3到4倍的性能提升。

问:此前Lake Crest的计算利用率达到了96%, 但Spring Crest的计算利用率稍微低了,这是为什么?

Carey:实际上这个是我的想法,把利用率适当下降,有些情况上确实可以实现98%。在没有资源冲突,每个硅芯片都能完全运行的情况下,可以99%甚至100%计算利用率。

问:芯片晚些时候上市会给英特尔在市场竞争中造成不利影响吗?

Carey:我认为我们逐步转向bfloat是一个重要的考虑因素, 因为如果这就是市场需要的,那么我认为我们对它的反应很快, 我不知道我们的竞争对手的路线图是什么,但我认为我们的反应速度相对较快,所以我认为我们不会在神经网络处理上处于劣势。

bfloat最近变得更受欢迎,我所知道的是,在过去四个月中,有多个客户来到我们这里并特别要求bfloat。

问:哪些类型的顾客或者行业对Spring Crest感兴趣?

Carey:Spring Crest可以说是最高等级的Nervana神经元处理器架构。

因此,它有同样的客户,例如超大规模中心,超大规模CSP,已经拥有相当强大的数据科学工作的大型企业客户,例如政府和其他企业。

我想从另一种角度来回答这个问题,哪些客户对此不感兴趣。数据科学或人工智能还是比较新的,这是一个非常热门,非常激动人心的领域,而且正在迅速改变。传统的企业客户可能拥有数据,但他们可能无法在其数据中心部署高端设备。我们作为英特尔提供的服务,以及我们的路线图和我们的总体策略是提供整个产品组合。你可以基于nGraph和Xeon开始工作。你的数据中心已经部署了英特尔至强处理器,那你没有理由再去购买神经网络处理器或者其他类似产品。你有了至强并且围绕至强做一些工作,你可以得到你的数据状态。

但如果你发现神经网络可以帮助你,并且尝试找到如何能够让它赚钱,这时候你可以说你更加严肃认真对待它,当然英特尔可以提供神经网络处理器产品,能够让你更严谨地去进行训练。现在你可以购买很多NNP产品,并可以运用相同的软件栈,你可以获得相同的优化和优化路径,你可以为不同的硬件进行优化。甚至你可以用不同的Crest或者Xeon,这取决你想要干什么。或者,你已经开始了训练阶段,你的数据科学家开始尝试去训练不同的模型,现在你的需求是大规模部署推理阶段。


| 整合资源快速迭代 初始团队只有45人

问:在开发新芯片的时候你们遇到了什么样的困难?

Carey:我们先来谈一下Lake Crest,我们创业初期就开始研发Lake Crest,我们整个团队大概45人,当时正在构建一个最大的Die(硅芯片),我们开发了Neon,我们还构建了云栈,这些都是40-45人团队所完成的。

这就是挑战,公司成立在2014年,直到去年芯片才真正问世,3年的时间不短,现在一切都是新的,我们现在属于英特尔,可以访问英特尔的资源,流程也变得简单,同时也有足够的员工同时进行处理器多代开发,就像一个真正CPU公司。

问:但整合所有需要的资源并不是一件容易的事吧?

Carey:当然不是一件容易的事情,但英特尔在将产品推出市场方面拥有丰富的经验,我曾经在大大小小不同的公司工作过,英特尔这点让我印象非常深刻,英特尔有迄今为止我见过的最佳的后硅培养(post-silicon bring-up)和架构分析。出品芯片,我们有数百个系统同时运行。

而且,同事们夜以继日协同工作,不仅仅来自Nervana的员工,6个月前刚加入的员工也是如此。当然让数以百计的员工朝着同一个愿景工作是很困难的,但英特尔是我所经历过的做的更好的一家公司。

问:什么是Lake Crest编程模型?它与GPU相似吗?

Carey:不是的,从高层面看,任何加速器都是一样的,你有一个为特定的图层编写的内核,将内核放在设备里,然后将数据存储在设备上,这就可以了。

而这一切对数据科学家来说都是隐藏的,数据科学家从来不想围绕GPU编码,他们只是想要高速度,而Nervana GPU内核就是这样提供的,我们拥有世界上最快的GPU内核,我们拥有与某些客户合作的FT16内核,这也是Nervana比硬件更为出名的地方,硬件实际上并没有被讨论,这些高速内核使数据科学家能够从当时的硬件中获取最多的内容,而无需被低水平细节所打扰,这是一种很好的模式,因为可以在不同的产品中改变计算机结构,并且由于除了位于英特尔的专门核心团队外,没有人直接在硬件上编写代码,我们可以管理这一更改并且始终尽可能优化硬件,可以添加说明,可以添加函数,可以改变事物的工作方式,可以在不影响数据科学的情况下更改bfloat。

| 积极应对行业变化 新芯片明年上市

问:数据科学家本身不关注硬件?

Carey:没错,我不认为数据科学家真正关心的是底层的问题,他们只是希望它速度很快,他们不会在乎法拉利是电动的还是混合动力的,是V12还是四缸发动机 他们只想在三秒钟内看到它从0到60。

问:nGraph与CUDA相比的优势是什么?

Carey:nGraph与CUDA还是不一样的,CUDA你可以理解为 nGraph的底面,我们称之为变压器,nGraph通过一个固定的API接收来自TensorFlow、Caffe或MXNet的输入,然后通过图形编译器进行性能优化,排除一些不需要的东西,然后将其发送给CPU的MKL-DNN,所以CPU仍然使用MKL-DNN,即使在nGraph中也是如此,相似的,我们也需要为Crest的变压器,我们也需要一个英特尔其他硬件的变压器。

问:目前是否有关于Spring Crest的速度有多快的数据或基准?

Carey:我们暂时没有公布具体数字,与Lake Crest相比,在性能上有3-4倍的提升,基于我们用客户提供的Lake Crest反馈,我们在整个设计过程中提高了性能。

问:有人认为我们正处于部署算法的早期,你对算法的潜在变化有什么看法

Carey:我认为算法和硬件之间有一点共生关系,反之亦然。

如果你往回看,过去的几年,在GPU上的GEMM核心会很快,因此当时所有的深度学习都指出如何利用GEMM核心来进行工作,因为这也是GPU仅有可以很快进行处理的地方,如今,GPU上有很多新的核心,数据科学家指出许多新的写入核心,我们的硬件处于两者之间,它并没有完全固定的函数,我们的硬件处理各种各样的激励函数,通过bfloat处理各种浮点运算,并且我们控制设备执行超出当前浮点范围的事情,你的GEMM,你的卷积神经,将会得到超级优化,我们不会像其他竞争对手一样拥有固定的函数,我们不会像GPU一样为了通用用途,我认为我们处于一个良好的中间点,在未来的几年也不会过时,随着时间的推移,我们将增加更多的通用硬件,以处理更多的混合工作负载。

问:你们是如何制定AI路线图的?背后有哪些考虑?

Carey:我们的路线图与任何人的路线图都相似:每年更大,更强,更快。

我们每年都会进行增量架构更改以提升性能,行业中出现的任何新事物如果与我们的硬件产品组合相关,我们会采取行动。(完)


我要推荐
转发到

友情链接