五月丁香六月综合缴情:为什么AI加速芯片还很少获得有意义的采用

发布日期:2019-12-10 21:47 点击次数:

雷锋网2019.10.31我想分享

雷锋网()出版社。目前,市场上许多初创公司都提供人工智能加速器,但很少大规模应用。算法的迁移以及初创公司能否提供开发工具包是关键原因。此外,供应商和芯片公司之间的深刻理解差异也是芯片规模没有被大规模采用的原因。 Codeplay的安德鲁理查兹发表了他的意见

对于人工智能芯片初创企业来说,关注芯片和基准测试(benchmark performance test)的峰值性能可能会吸引那些寻求深入学习培训或推理硬件的人。 然而,开发人员可能会遇到开发了几周甚至几个月的程序,这些程序根本无法在新设备上高效运行。 这并不奇怪,因为将算法移植到芯片上超出了编译器的能力。

缺乏工具、时间或资源并不是一个常见的问题,但有一些深层原因,包括人工智能芯片的设计方式、开发人员如何尝试新架构以及如何生产它们。存在一些基本的漏洞。

Codeplay的安德鲁理查兹已经解决了一些长期存在的疑问,也解决了为什么很少人工智能加速器被有意义地采用的原因。

让我们从一些关于意识形态和技术不匹配的观察开始 它植根于大多数著名的人工智能加速器公司

几乎所有人工智能芯片初创团队都来自于数字信号处理器和嵌入式设备(例如,格拉克核心公司的首席执行官曾在微微芯片(PicoChip)和XMOS工作;波计算的团队也主要从事嵌入式系统) 从工作量或市场的角度来看(特别是对于推理来说),这几乎是完美的专业知识,但对于人工智能加速芯片来说,这是一种全新的计算思维方式。 在数字信号处理器中,几乎所有的信号处理都是在设备上进行的,设计是围绕着设备进行的。只有在不执行复杂控制时,主控制中央处理器才打开或关闭。

理查兹说:“对于这些人工智能硬件供应商来说,雇佣似乎能解决所有问题的人要有用得多。” 他指出,高性能计算社区已经聚集了大量的人才,因为他们已经花了很多年的时间允许大型超级计算机使用图形处理器来执行复杂的、大规模并行的应用程序,这些应用程序通常具有非常独特的软件环境。

简而言之,他们从开发人员的角度理解工作负载的分布和意义。将正确的工作负载转移到正确的设备并不容易,在新架构上构建工作负载可能需要一年或更长时间。 游戏开发者也是如此,他们是第一个在GPU上解决游戏卸载问题的人。

这就引出了第二个关键点。经过验证和测试,人工智能芯片终于投入生产已经一年了。 因此,芯片初创企业需要强大的商业模式来实现他们的目标。 因为开发人员可能会创建一个新的架构,这意味着他们必须提供开发工具包和演示硬件。 这是嵌入式背景的员工无法为人工智能加速器初创企业服务的另一个领域。

理查兹说GPU启动如此之快的原因之一是英伟达可以提供芯片,然后让开发者围绕它开发自己的程序 随着时间的推移,英伟达令人难以置信的工作是为几乎所有可由GPU加速的工作负载开发一个丰富的生态系统,让开发人员更容易移植自己的代码。

对于开发者来说,只购买一、两、四个芯片是一个理想的选择,但这不能成为初创企业的商业模式,因为这不适合昂贵的加速器。 因此,这是一个先有鸡还是先有蛋的问题。

"如果你是人工智能软件开发人员,那么你的工作就是尝试 此外,当你这样做的时候,你会购买少量的芯片用于开发。 目前,人工智能芯片公司并不是为了只销售一两个芯片而成立的。 人工智能初创企业很难做到这一点,这需要一个分销模式来销售一个处理器。 "

如果开发人员不能拥有devkit和测试设备,即使他们团队中最具架构意识的硬件人员也可能无法在硬件上运行应用程序。 同时,如果没有时间进行测试,开发周期可能需要一年甚至更长时间。

所有这些意味着开发人员很难使用除了图形处理器和中央处理器之外的任何东西。

”这是一个快速发展的领域,开发人员需要能够编写自己的软件并运行现有的框架。 对于开发人员来说,使用TensorFlow或PyTorch进行修改是很常见的,尝试新事物也是很常见的。 当软件开发人员考虑尝试不同的方法时,他们已经知道PyTorch或TensorFlow可以在Nvidia图形处理器或英特尔处理器上开箱即用。人工智能初创企业可能会这么说,但情况可能并非如此。 ”理查兹说

”在许多情况下,人工智能硬件公司的软件人员会认为应用编程接口功能运行在中央处理器上,并异步卸载到他们的加速器上 但是硬件供应商假设软件应用编程接口功能在他们的处理器上运行,这是一种完全不同的思维方式。 他补充说,他与一些人工智能芯片供应商合作,讨论他们如何为人工智能软件人员提供界面,并发现了这些深刻的差异。

“关于人工智能芯片,人们需要记住的最重要的事情之一是,尽管他们认为自己在销售处理器,但这些芯片必须与带有中央处理器主机的系统配合使用 同样重要的是要记住,最终的基准测试与单个芯片的数据没有什么关系,因为它只是系统的一部分。 "

考虑到这一切,理查兹允许我们使用下面的图表来显示所有缺失的部分 至少,如果你想使用人工智能加速器,你需要深入思考。

理查兹说,如果你是这个领域的硬件供应商,每个项目都会带来棘手的问题。 除了长的开发时间,他们还必须在板上安装一个芯片,等待一年才能知道它是否成功。“任何人工智能处理器供应商都必须说,他们的第一个版本只是一个开发套件,他们的产品将在下一个版本中投入生产。” 在他们看来,这很难甚至不可能成为商业模式。 “理查兹在第二张图表中告诉我们,他分享了人工智能芯片市场的多元化和扩张。 如果从人工智能芯片初创企业的商业模式角度来考虑,这将是一个大开眼界。

理查兹说,许多开发人员将购买上开心婷婷五月综合基地述三个部分的演示机器。 然而,他们后来做的完全不同,决定了人工智能加速器的成败。 请记住,人工智能开发人员希望能够编写自己的软件,并将他们选择的工具与架构相结合。 此外,如果您看一下图表最右边的大型数据中心,这个命题会变得更加困难,尤其是在超级计算站点或非常大的数据中心,定制代码或旧代码非常重要。

许多人工智能软件开发人员都有高性能计算或游戏背景。他们本质上理解延迟敏感任务应该在中央处理器上运行,而计算敏感任务将交给加速器。 因此,理查兹得出结论,真正重要的是整个系统。

现实情况是,很多重点都放在了基准测试的单芯片性能上,所以很明显,除了软件人员之外,每个人都忘记了用于人工智能的每个数据中心设备都是系统的一部分。

雷Feng.com,通过下一个平台雷Feng.com

经过一年的开拓性工作,这些清华霸王用不干胶人工智能芯片创造了数千万的销售额!

雷锋的原创文章不得擅自转载。 有关详细信息,请参见

收集报告投诉

据雷锋网站称,目前市场上许多初创企业已经提供人工智能加速器,很少大规模应用。算法的迁移以及初创公司能否提供开发工具包是关键原因。此外,供应商和芯片公司之间的深刻理解差异也是芯片规模没有被大规模采用的原因。 Codeplay的安德鲁理查兹发表了他的意见

对于人工智能芯片初创企业来说,关注芯片和基准测试(benchmark performance test)的峰值性能可能会吸引那些寻求深入学习培训或推理硬件的人。 然而,开发人员可能会遇到开发了几周甚至几个月的程序,这些程序根本无法在新设备上高效运行。 这并不奇怪,因为将算法移植到芯片上超出了编译器的能力。

缺乏工具、时间或资源并不是一个常见的问题,但有一些深层原因,包括人工智能芯片的设计方式、开发人员如何尝试新架构以及如何生产它们。存在一些基本的五月丁香六月综合缴情漏洞。

Codeplay的安德鲁理查兹已经解决了一些长期存在的疑问,也解决了为什么很少人工智能加速器被有意义地采用的原因。

让我们从一些关于意识形态和技术不匹配的观察开始 它植根于大多数著名的人工智能加速器公司

几乎所有人工智能芯片初创团队都来自于数字信号处理器和嵌入式设备(例如,格拉克核心公司的首席执行官曾在微微芯片(PicoChip)和XMOS工作;波计算的团队也主要从事嵌入式系统) 从工作量或市场的角度来看(特别是对于推理来说),这几乎是完美的专业知识,但对于人工智能加速芯片来说,这是一种全新的计算思维方式。 在数字信号处理器中,几乎所有的信号处理都是在设备上进行的,设计是围绕着设备进行的。只有在不执行复杂控制时,主控制中央处理器才打开或关闭。

理查兹说:“对于这些人工智能硬件供应商来说,雇佣似乎能解决所有问题的人要有用得多。” 他指出,高性能计算社区已经聚集了大量的人才,因为他们已经花了很多年的时间允许大型超级计算机使用图形处理器来执行复杂的、大规模并行的应用程序,这些应用程序通常具有非常独特的软件环境。

简而言之,他们从开发人员的角度理解工作负载的分布和意义。将正确的工作负载转移到正确的设备并不容易,在新架构上构建工作负载可能需要一年或更长时间。 游戏开发者也是如此,他们是第一个在GPU上解决游戏卸载问题的人。

这把我们带到了第二个关键点,要进行验证、测试到AI芯片最终投入生产时,已经过去了一年的时间。为此,芯片初创公司需要强大的商业模式来实现目标。因为开发人员可能会创建一个新的体系结构,这意味着他们必须提供devkit(开发套件)和Demo硬件。这是嵌入式背景的员工无法为AI加速器初创公司服务的另一个领域。

Richards说,GPU这么快起步的原因之一是因为Nvidia能够提供芯片,然后让开发者们围绕它开发自己的程序。随着时间的推移,Nvidia所做的令人难以置信的工作是,为几乎所有可以通过GPU加速的工作负载开发了一个丰富的生态系统,使开发人员更容易移植自己的代码。

让开发人者只购买一两个或四个芯片是理想的选择,但这无法成为初创公司的业务模式,这不适用于昂贵的加速器。因此,这是一个先有鸡还是先有蛋的问题。

“如果你是AI软件开发人员,那么你的工作就是尝试。而且,当你这样做时,你将购买少量的芯片用于开发。现在,AI芯片公司创立不是只为销售一两个芯片。对于AI初创公司而言,做到这一点非常困难,这需要通过分销的模式才能只能销售一个处理器。”

如果开发者无法拥有devkit和测试设备,即使是他们团队中最具架构意识的硬件人员,也可能无法让应用程序在硬件上运行。同时,如果没有时间进行测试,开发周期可能需要一年甚至更长的时间。

所有这些都意味着,对于开发人员而言,使用GPU 和CPU以外的任何东西都将是一件很难的事。

“这是一个快速发展的领域,开发人员需要能够自己编写软件以及运行现有框架。对于开发人员来说,使用TensorFlow或PyTorch并进行修改是很常见的,尝试新的东西也是很常见的。当软件开发商考虑尝试不同的方法时,他们已经知道可以在Nvidia GPU或Intel CPU开箱即用地运行PyTorch或TensorFlow,AI初创公司也可能这么说,但情况可能并非如此。” Richards说。

“在许多情况下,AI硬件公司的软件人员会假设API函数在CPU上运行,并异步卸载到其加速器。但是硬件供应商假定软件API功能在其处理器上运行,这是完全不同的思维方式。他补充说,他与一些AI芯片供应商合作,讨论他们为AI软件人员提供接口方式,发现了这些深层次的分歧。

“关于AI芯片人们需要记住的最重要的事情之一是,尽管他们认为自己在出售处理器,但该芯片必须与具有CPU主机的系统配合。还需记住的是,最终的Benchmark与单个芯片的数据关系不太大,因为它只是系统的一部分。”

考虑到所有这些, Richards允许我们使用下面的图表来展示所有遗漏的部分。至少可以说,如果你要使用AI加速器,需要深思。

Richards说,如果你是这个领域的硬件供应商,那么每个项目都会带来一个棘手的问题。除了漫长的开发时间之外,他们必须在板上投入一个芯片,并等待一年的时间才能知道是否成功,“任何AI处理器供应商还必须说他们的第一个版本只是一个devkit,其产品是会下一个版本将投入生产。从他们的角度来看,这很艰难的,甚至不可能成为商业模式。”

Richards在他分享的第二张图表中告诉我们,AI芯片的市场多样化且不断扩大。如果从AI芯片初创公司的业务模型角度考虑这一点,这将令人大开眼界。

Richards说,许多开发人员将在上述三个部分中购买演示机。但是之后他们所做的工作却完全不同,并决定了AI加速器的成败方案。请记住,AI开发人员想要的是编写自己的软件并使他们选择的工具与体系结构相结合的能力。而且,如果看图表最右边的大型数据中心,这一主张变得更加困难,尤其是在超级计算站点或超大规模数据中心中,自定义代码或旧代码至关重要。

许多AI软件开发人员都有HPC或者游戏的背景,他们固有地理解,对延迟敏感的任务应该在CPU上运行,而对计算敏感的任务会给加速器。因此,Richards总结说,真正重要的是整个系统。

实际情况是,很多重点都放在Benchmark的单芯片性能上,因此很明显,除软件人员外,其他所有人都忘记了用于AI的数据中心设备中的每一个都是系统中的一个部分。

雷锋网编译,via The NextPlatform 雷锋网

这群清华学霸创业一年,就凭借Sticker AI芯片创造了数千万销售额!

雷锋网原创文章,未经授权禁止转载。详情见。