GTI Lightspeeur光矛系列AI芯片在边缘计算占据什么地位?——“若派Ropal”神经计算棒评测



前不久,拿到一个类似Intel NCS神经网络计算棒的玩意儿——“若派Ropal”神经网络计算棒(见下图),听名字的话可能大部分人会比较陌生,但是若看其官方列出的性能指标足以吓你一大跳,比起Intel NCS,“若派Ropal”计算棒的性能要高出不少,可以直接正面PK Intel Movidius系列产品在边缘计算领域的地位,当然,这还不算什么,若是告诉你“若派Ropal”计算棒的AI芯片方案出自一家初创公司,是不是这件事情让人吃惊的程度不亚于方案本身?到底是什么样的公司又是什么样的技术?一起来瞧瞧。




“若派Ropal”计算棒基于Lightspeeur 2801S 加速芯片,这是全球首款可同时支持图像与视频,语音与自然语言处理的卷积神经网络及深度学习的应用处理器方案,无论是在训练或是推理模式下,均可提供超高密度的计算性能与卓越的能耗效率,最让人意外的是它的设计公司确是一个实实在在的初创公司,全称为Gyrfalcon Technology Inc.,简称GTI。
笔者手里拿到的已经是基于这颗Lightspeeur 2801S AI芯片设计成的一个类似USB Dongle的计算棒,采用USB3.0接口。




从GIT的官网来看,Lightspeeur 2801S AI芯片性能和功耗要完胜Intel Myriad 2,但是不及Intel最新推出的Intel Myriad X,不过若真要较真的话GTI公司推出最新一代的Lightspeeur 2803真正是秒天秒地的性能,24 TOPs/Watt的性能表现完全不局限在边缘计算,在数据中心、机器学习等领域中也非常有优势。




Lightspeeur光矛系列产品有如此强的性能表现主要是依托其核心技术APiMTM(AI Processing in Memory),如下图所示,该架构使用片上存储作为运算单元,实现“存算一体”,集成高达28000个运算单元,这个数量听上去真有点吓人!不需要使用片外存储即可实现深度学习推理应用,有效降低了其他架构中由于运算单元与存储单元之间的大量数据移动导致的高功耗,实现了真正的片上并行和原位计算,成功克服了由存储器带宽而导致的性能瓶颈,通过二维矩阵处理引擎(MPETM)与存算一体(APiMTM)技术相结合,让功耗与性能同时兼顾。




Lightspeeur支持卷积神经网络,其分布式存储结构对CNN计算相当友好并且支持多层结构,每层的尺寸可以不同,内置模型压缩算法能够实现快速且低功耗的CNN计算。同时,它支持Caffe、TensorFlow、PyTorch等主流开源深度学习框架,目前包括日本富士通,韩国LG和三星等公司都有在采用此方案作为产品开发。


从GTI官方的介绍来看,Lightspeeur系列产品的多片组合方式不仅适用于边缘计算,对于数据中心的加速处理等领域也有极其出色的能耗比。
不同组合相对应的性能和功耗表现如下:


大概了解了Lightspeeur光矛系列产品的特色,我们实际来验证下这个“若派Ropal”计算棒的性能表现。“若派Ropal”计算棒提供了三种不同的开发平台,包括X86_Linux、ARM_Android以及ARM_Linux,正好手上有现成的X86_Linux平台,下面的测试基于这个环境。


Intel x86的平台,系统为Ubuntu 16.04,SDK为3.1版本,SDK可以找官方提供或者在官方的社区可以下载到。




“若派Ropal”计算棒提供了SDK使用指导手册,有详细的使用流程,所以如何搭建环境啥的不啰嗦了,有一点特别要注意的是,你插上计算棒的那个设备节点可能会跟官方SDK中默认提供的不一样,运行相应的demo需要修改设备节点信息,有两处地方,分别是:
usr/local/GTISDK/data/Models/gti2801/gnet1/cnn/userinput.txt


usr/local/GTISDK/data/Models/gti2801/gnet2-3/cnn/userinput.txt


另外需要给设置的节点加上权限。


运行执行程序,可以看到官方提供了4个基于计算棒的Demo演示。




由于手头只有一个计算棒以及没有摄像头模组,所以只能运行其中的两个Demo,一个是计算帮的CNN测速演示,一个是图像识别演示,实际演示效果见下方视频。


从视频中可以看到,CNN测速可以达到60多fps,图像识别也有20fps左右,要重点强调是这个demo基于VGG16模型,相当厉害!


除此之外用户也可以将自己训练的模型通过Plai?工具转换,再稍加修改demo就可以应用到“若派Ropal”计算棒上去做推理,通过阅读SDK中提供的代码,结合实际动手实验,相信对理解Lightspeeur的工作原理会事半功倍。


不得不说,“若派Ropal”计算棒给用户提供了一个非常便捷的工具去评估Lightspeeur 2801S,如果你对这款AI芯片,或者对这根神经棒感兴趣的话,可以在爱板网商城买到。



END

该文章由 发布

这货来去如风,什么鬼都没留下!!!
发表我的评论

Hi,请填写昵称和邮箱!

取消评论
代码 贴图 加粗 链接 删除线 签到