当机器学习具备先验知识……

深度学习目前仍有很大的局限性,其中之一就是无法结合先验知识,如数学或物理学的基本定律。通常,必须从训练集中理解DL,这很难真正涵盖足够的先验知识。而DL的一个卖点是,它不需要用算法编程; 而是通过一种优化形式从这些训练集中抽离出智能。当训练集足够大,可以覆盖目标的核心时,这种方法是很有效的,但如果无法很好的引入其他变量(如旋转或移动),这种方法就不是很有效。 这是一个急需解决的局限性。                                                  

解决这个问题最简单的方法是扩大训练范围以涵盖更多变量。对于旋转,可能需要108 * N个训练样本来覆盖3个旋[……]

阅读全文

FMS 2018 之六:在存储中做AI

在创业公司NGD的Keynote中,我们看到了他们和微软研究院完成的原型概念验证。基于In-suite processing的概念在存储控制上集成了计算加速的单元。这个概念和大部分在存储上做加速的方案类似,利用与数据存储比较靠近的优势来实现计算的offlaoding,从而降低延时。

NGD加速的应用是目前比较热门的CNN,类似Image的分类,人脸识别,以及车辆牌照识别之类的Edge端的应用。和以云端数据中心的形式存在的Google的TPU Pod不同,在Edge端的应用对于实时性要求更加严格,在5G出现之前,从端设备发送原始数据到云端处理的路径还是过长,因此Edge 计算和所谓的雾计算还是[……]

阅读全文

FMS:Exten Technologies推出HyperDynamic NVMe Over Fabrics存储软件

Exten Technologies公司率先推出了NVMe-oF(NVM Express over Fabrics),2015年业界就推出了最早的实施方案。现在,该公司继续推出其HyperDynamic存储软件平台,性能存储解决方案包含NVMe-oF,Redfish和Swordfish开放行业标准来支持无限扩展云和其他针对数据和性能密集型工作负载的数据中心。

该公司在加利福尼亚州圣克拉拉举行的年度闪存峰会上展示了其HyperDynamic存储软件。

Exten首席架构师Michael Enz说“现代云数据中心的可扩展性要求超越了传统存储架构和解决方案的能力, 数据中心架构师都知道,即使[……]

阅读全文

FMS 2018 (5):Open Channel SSD占据半壁江山

作者 Xilinx 唐杰

和今年7月份在存储重镇武汉召开的存储半导体峰会一样,Open Channel SSD在FMS2018 的众多话题中的分量很足。在架构相关的议题中占了半壁江山。从目前看到的方案来看,大家的目的都类似,主要解决问题是:

1. I/O 的隔离

2. 实现可以预期的延时

3. 将底层的NAND的Channel暴露到上层来实现更好的I/O并行处理和调度

clip_image002

目前主要实现的方案有三种,Alibaba AOC, Facebook I/O Determinism 以及Open Channel的创始公司CNEXLabs (Microsoft 投资的公司)。 在本次的FMS上三家都有讲各自的方案,但是[……]

阅读全文

Open Channel存储产品:提升存储性价比

新概念的提出必然是为了弥补之前的不足,开放通道固态驱动器(英语:open-channel solid state drive)和传统的SSD相比同样做出了一些改进,它是一种特殊的固态硬盘。Open Channel SSD不再像传统的SSD架构那样在驱动器的固件中实现闪存翻译层(FTL),而是将物理固态存储的管理任务转交到计算机的操作系统。这样就可以根据Host端应用场景的情况来动态调整GC的策略,从而提供更好的用户体验。因此许多厂商也开始着手Open Channel SSD的研发。

阿里巴巴Open Channel SSD

阿里巴巴也开始进入这一领域,近日,阿里巴巴宣布下一代数据中心的核心存储[……]

阅读全文