Habana Labs开始为数据中心提供推理处理器

原创内容,转载请注明:  [http://www.ssdfans.com]  谢谢!

Habana Labs(位于以色列特拉维夫)已经开始向部分客户提供其神经网络处理器HL-1000(也称为Goya)的样品。

该公司声称HL-1000是性能最高的AI推理处理器,但必须始终考虑到不同的公司将AI处理器定位于不同的应用程序和计算环境中。

Habana已经在基于该芯片的PCIe卡上展示了其处理器,声称在ResNet50网络上的性能为15,000张图片/秒,批处理大小为10,延迟为1.3毫秒,同时耗电量为100瓦。

因此,Goya-1000显然是要部署在数据中心的,Habana声称它的性能将比目前数据中心常用解决方案的性能要好一到三个数量级。这当然是拿神经处网络理器与CPU和GPU比较,而不是与其他神经网络处理器比较。

HL-1000Goya推理处理器的一般结构。资料来源:Habana Labs

Habana公司尚未提供有关制造HL-1000 Goya芯片或后续芯片HL-2000的工艺信息。

该芯片被称为通用AI处理器,能够支持多种神经网络和各种应用,包括图像识别、语言翻译和情感分析。

HL-1000芯片架构基于8个张量处理器内核(TPC),可使用基于LLVM的编译器在C和C ++中进行编程。每个TPC支持多个通用的乘法累加、矩阵乘法功能和本地存储器。Habana已经制作了支持性的开发工具库。

SynapseAI软件栈首先分析经过训练的模型,然后再优化HL-1000处理器的使用。它还支持神经网络框架的接口,如MXNet,Caffe 2,TensorFlow,Microsoft Cognitive Toolkit,PyTorch和开放式神经网络交换格式(ONNX)。

然而,Habana认为训练和推理并不方便在同一个芯片上进行。为了优化效率,Habana为训练和推理工作负载提供单独的处理器。Habana实验室计划在2019年第二季度对HL-2000或Gaudi 训练处理器进行采样。Habana声称,每个Gaudi设备 拥有2Tbps接口,其训练性能可以很好地扩展到数千个处理器。

但Goya处理器并不局限于使用由Gaudi HL-2000训练的模型。推理处理器支持由任何处理器训练的模型,如GPU,TPU,CPU和Habana Gaudi。

Habana Labs成立于2016年,公司在全球拥有120名员工。

分类目录 国外动态, 行业动态.
扫一扫二维码或者微信搜索公众号ssdfans关注(添加朋友->点最下面的公众号->搜索ssdfans),可以经常看到SSD技术和产业的文章(SSD Fans只推送干货)。
ssdfans微信群介绍
技术讨论群 覆盖2000多位中国和世界华人圈SSD以及存储技术精英
固件、软件、测试群 固件、软件和测试技术讨论
异构计算群 讨论人工智能和GPU、FPGA、CPU异构计算
ASIC-FPGA群 芯片和FPGA硬件技术讨论群
闪存器件群 NAND、3D XPoint等固态存储介质技术讨论
企业级 企业级SSD、企业级存储
销售群 全国SSD供应商都在这里,砍砍价,会比某东便宜20%
工作求职群 存储行业换工作,发招聘,要关注各大公司招聘信息,赶快来
高管群 各大SSD相关存储公司高管和创始人、投资人

想加入这些群,请微信扫描下面二维码,或搜索nanoarchplus,加阿呆为微信好友,介绍你的昵称-单位-职务,注明群名,拉你进群。SSD业界需要什么帮助,也可以找阿呆聊。