2018年,全球存储市场在软件定义存储、闪存和超融合这三驾马车带动下迎来了新一轮的增长,在这三大趋势的相互带动下,整个存储产业从底层介质,到设备层,到系统层,到应用方面,都在不断迭代创新中推陈出新,在这个数据战略意义越来越明朗的时代,存储数据的方式也自然更重要了。
与几年前不同,公有云喊打喊杀似乎是无所不能,企业存储在一旁,一边审视自己的价值,一边看着公有云在存储上的边界。现在,从一些调研数据来看,公有云服务对以本地为主的企业存储开始由舆论上的对立,转变为行动上的相互合作与渗透。
当人们认清现实,市场会给出反应。IDC数据显示,2018年Q3,全球企业存储市场增长了19.4%,达到了140亿美金,出货存储容量更是增长了57.3%,达到113.9EB,企业级存储市场如此增长令所有存储人士为之振奋。
2018年Q3,中国存储市场占全球存储整体市场12.2%的份额,以19.3%的季度增长率仅次于美国市场,位列全球第二,市场规模达到7.7亿美元。(全球以及中国市场上,全闪存都是最强的增长动力。
本文,将以企业存储媒体的视角总结过去一年看到的新技术,新趋势,市场变化,穿插着对未来的预测性描述,以及一些令笔者印象深刻的小细节。
闪存
闪存的创新关键词离不开,SCM,多层3D NAND,QLC,NVMe,NVMe over fabric。
SCM,常见的有来自英特尔的Optane和三星的Z-SSD。
目前来看,Optane的应用大多时候是用作缓存加速,从系统层的应用来看,比如HPE(新华三)的Nimble和3Par,还有人开始将SCM用作持久存储层,比如DELL EMC的PowerMax,NetApp也有一些这方面的规划与设想。
市场宣传来看,主流大型厂商包括HPE、IBM、DELL EMC等都推出了基于NVMe over fabric技术的全闪存,国内的华为也在其中,如果dual-port闪存盘进展顺利,将会为NVMe oF全闪的发展扫清一大障碍,当然,这事儿好像对于Purestorage没那么重要,E8的NVMe oF方案也越发成熟。
2019年将是个重要的时间点,各种技术趋于成熟后,这些基于更高级NVMe OF协议,下一代的PCIe 4.0,基于新一代的存储介质的全闪存,都将会加速从市场宣传阶段进入落地阶段,在对性能有更高要求的场景中发光发热。
Optane是3D Xpoint创新介质的重量级产品,原本是英特尔和美光联合开发的,如今两家分道扬镳了,走着不同的发展路线。原因或许很复杂,我们只是看到,英特尔既想让Optane当SSD又想让它当内存用,Optane的采用会减少人们对DRAM内存的需求,这点,不知道美光怎么想。
如今,美光还没有正式推出基于3D Xpoint的产品,而英特尔方面凭借在处理器方面的优势力推Optane,在中国的阿里巴巴,青云QingCloud等喜欢尝鲜又善于挖掘价值点的公有云厂商中,在一些大型企业用户的应用中都有一些积极反馈。
说起SCM,还要想到三星的Z-SSD,Z-SSD被视为3D Xpoint的竞争对手,作为一种SCM,包括耐久性等特性跟3D Xpoint相似,但从命名上就能看出来,主要还是用在SSD上,三星也确实推出了基于Z-SSD的NVMe盘,从市场宣传的声量来看,Z-SSD略显低调,莫非是因为,企业级市场上,卖内存比卖SSD简单?
2018年以及在未来的几年中,NRAM和ReRAM还会继续开发,目前,还没看到大规模商用的迹象。
从2D到3D是一次跨越,从TLC到QLC又是一次跨越,QLC是TLC之后的新世代NAND,目前只有包括美光、英特尔、东芝等少数大厂有相关产品推出,QLC的实际应用还有很多问题,2018年年底,美光的专家在中国存储与数据峰会上介绍了QLC存储在AI场景中的应用,英特尔介绍了一种Optane结合QLC的方案,都在减少QLC的写入次数。
介质层的创新会直接带动闪存存储系统密度的提升,早在2017年FMS上,英特尔介绍的Ruler架构就能在1U空间内放置1PB的存储空间,三星也有高密度的存储方案,如果要比拼密度的话,磁盘是望尘莫及的,这是闪存着力的方向之一,由此带来的宝贵的数据中心空间节省将是用户乐意为闪存买单的一大因素。
说起介质创新,一些企业在探索HMC(Hybrid Memory Cube)技术,NAND能从2D做成3D的,那内存就不行吗?HMC技术已经研究了很多年,希望在不久的将来能看到“3D的内存”,单位容量的内存价格会降下来吗?
从市场格局来看,NAND已进入了新一轮的降价,未来价格会越来越低。
2018年,中国长江存储首次介绍了Xtacking技术,2019年,随着长江存储量产64层3D NAND芯片,2020年还将推出128层的NAND技术,几大NAND厂商都表示将尽快推出更高层的NAND颗粒,NAND的价格将进一步降低,市场格局也会发生变化。
与之相关的产业下游,还有控制器以及SSD厂商,控制器领域,除了西数、三星、英特尔、希捷、Marvell、SMI慧荣这样的老牌控制器公司,一大批新兴控制器公司开始崛起,在中国,有华澜微、国科微、还有Starblaze、华为、得一微、威固等,做SSD的还有Memblaze,华为,金泰克以及一众企业级SSD厂商,大家目光直指千亿美金的市场。
值得一提的是,甚至连阿里巴巴都推出了自己的SSD产品,据说是某国内企业代工设计生产,但单独作为一个品牌列出来,也足见对于SSD的重视。这种重视体现在对价格的敏感和对SSD需求的苛刻要求,毕竟,阿里云这样的超大规模数据中心对SSD的需求很多时候跟企业数据中心里的SSD是不一样的,有动力,也有能力对SSD挑肥拣瘦指指点点。
超融合HCI
市场调研机构Reportlinker给出的数据显示,2018年全球HCI市场规模约为41亿美金,预计到2023年,市场规模将增长到171亿美金,复合增长率达到32.9%。IDC 2018年Q2的调研数据显示,超融合市场比上年同期增长了78%,市场规模为15亿美金。
超融合以极强的便利性和灵活性征服了越来越多的用户,全球范围内数得上名字的就有好几十家,常见的有Nutanix、戴尔易安信、思科、HPE、VMware,在中国,除了这些国际巨头外,常见的有深信服、青云QingCloud、曙光、华为等品牌,有业内人士声称,在中国有几百家厂商声称自己也有超融合方案。
截图自笔者整理的数据云图,囊括了部分国内外超融合Vendor
超融合是什么?超融合是服务器硬件,在加上分布式存储系统比如Ceph或者Gluster,加上虚拟化软件,以及管理平台,还需要别的吗?对此,大家莫衷一是,但可以肯定的是,为了让自家的超融合有更多特色或者说是附加值,各种版本的“真正超融合”的定义更是五花八门。
超融合有计算存储和网络三大资源,为什么超融合归类到存储市场呢?
在超融合概念普及的初级阶段,Nutanix和VMware都强调存储才是超融合的关键,到后来,Nutanix在市场宣传上淡化存储的标签但收效有限,在VMware眼里,VSAN分布式存储更有价值点,Nutanix是公认的超融合领头羊,而据IDC统计,超融合市场中有37.2%的产品使用vSAN作为分布式存储软件,这两家都是靠软件吃饭的超融合的典型。
在联想、思科、DELL EMC看来,服务器硬件更重要,硬件是保障系统平稳运行的重要依托,但仅靠服务器是不行的,为了多面下手,DELL EMC推出了多个超融合产品系列,比如XC系列性能型超融合,比如VxRail。凭借资源优势,硬件厂商与软件派的超融合合作,推出各种认证的设备,联合推出一体化解决方案。显然,硬件的成本更高或者说市场规模更大。
存储市场上有这样一种声音,现如今,没有服务器的存储厂商应该怎么做呢?IBM卖掉了x86服务器之后,至今扔没有超融合的概念,NetApp选择与服务器厂商比如思科UCS合作推出超融合方案,从这个角度看,如果EMC与DELL合并看中的是戴尔的服务器的话,也算一个听上去有点根据的戏言了,总之,硬件服务器还是很重要的。
国际巨头以外,别人怎么玩超融合的呢?首先,在市场上取得成功的超融合方案都得认可分布式存储的价值,并且做好分布式存储,因为这是超融合的关键,为了与巨头在市场上拼杀,这些缠上要加入自己在特定领域的长期积累。
伴随着超融合业务崛起的硬件厂商,华为,浪潮在服务器方面也取得了很大的市场成功;在深信服眼里,超融合更强调在安全上,在网络方面的能力;在Cohesity,Rubrik,Exagrid眼里,超融合应该提供灾备能力,或者说超融合的灾备更合适。
一些容器云创业公司也开始拥抱超融合,博云选择自己做超融合,SmartX与Rancher Labs一起做,深信服与灵雀云联合,为超融合带入了容器的能力,这也是未来的一大趋势。
在青云QingCloud眼里超融合是搭建公有云的砖头,也是为企业搭建私有云的砖头,青云的青立方超融合系统能快速帮助用户在本地数据中心构建公有云同款私有云服务,青云将全栈云的能力同步到超融合方案中,与公有云业务能力同步增长,完善中的青立方超融合增加与上层业务之间的粘性。
青云并不孤独,微软沿着一样的思路,用超融合来将Azure的服务能力与云端快速对接,为此与许多国内外服务器硬件厂商合作,推出了Azure Stack,最著名的可能就是DELL EMC的Cloud for Microsoft Azure Stack,此外,还有联想,思科,华为等也都有类似的方案。
很多人在思考,超融合是过渡产物,还是像服务器,存储,计算网络以外的第四大件呢?
2018年存储峰会期间,Bigtera在接受笔者采访时谈到了Software Composable Infrastructure-软件可组合架构(SCI)相对于超融合的优势,SCI的架构思路与HCI恰好相反,但也更强调软件的能力,同时,非常依赖NVMe over Fabric等新一代高速互联技术的成熟、应用与普及。提出这一概念的还有西数、Attala Systems等等。
SDS
2017年上半年中国SDS市场主要玩家
SDS的使命是要用标准的通用服务器来取代传统存储阵列,为各种类型的业务提供灵活可靠的存储服务,为此,需要在软件上下功夫。(XSKY&Intel)对于DELL EMC,IBM,HPE(新华三),NetApp等传统厂商来说,重构创新或者说自我颠覆在所难免。
2018年发布的Gartner文件和对象存储魔力象限
典型如IBM,作为一家典型的硬件存储大厂,在SDS大潮下,IBM存储重新包装了一系列的SDS方案,包括Spectrum Control,Spectrum Archive归档存储,Spectrum Virtualize(原来的SVC)虚拟化存储,Spectrum Scale(大名鼎鼎的GPFS)大数据存储,Spectrum Accelerate(网格块存储XIV)块存储,还有通过收购Cleversafe获得的对象存储方案。
你可以说是新瓶子装老酒,这是IBM存储中的纯软件产品,IBM声称可运行在x86服务器上,在官网上,笔者还意外地看到了可供免费下载试用的IBM存储方案。
类似的DELL EMC旗下有Isilon文件存储和Elastic Cloud Storage (ECS)对象存储,还收购了ScaleIO块存储SDS方案,NetApp也推出了叫ONTAP Select的方案,Red Hat(已被IBM宣布收购)同时有Ceph和Gluster两大方案,这些方案都有纯软的方案。
从某种意义上来讲,SDS的突破就是软件摆脱了对硬件的依赖,开始走向独立自主的道路,在我看来,SDS的软件就像和奴隶主解除关系得到解放的奴隶一样。
软件定义存储避开了硬件架构设计的复杂工作,降低了企业存储的参与门槛,搞硬件的不如搞软件的,软件更容易实现,很多时候一台电脑就可以,这点从全球开源软件和开源硬件的数量就能看出来,硬件设计周期长见效慢,相比之下,软件开发更像是所见即所得。
所以,SDS国际市场上,除了有传统磁盘阵列厂商DELL EMC,IBM,HPE(新华三),NetApp这些老面孔以外,还出现了许多中国的存储厂商,在中国市场,包括XSKY,曙光,华为,新华三等都有杰出表现。
2017年上半年,中国SDS市场上块和对象存储市场份额概况
中国,SDS文件存储
说起SDS,Ceph是绕不开的话题,由于受本身设计的影响,Ceph的性能表现广为诟病,但不影响Ceph是一个非常有影响力的存储开源项目。2018年,第一届Ceph亚太峰会还在北京举办了一次,Ceph虽然有很多问题,但不失为一个关注度奇高的存储开源项目。
Ceph RADOS
市场上XSKY的产品就是典型的Ceph方案,在一个平台X-EDP上同时提供文件、对象和块存储服务,从市场表现来看,XSKY可以说是最成功的Ceph开源存储服务商了,在中国市场表现中都居于TOP前列,类似的还有杉岩数据USP,深信服的aStor-EDS,同样也对开源Ceph软件做了大量的优化和扩展。
除了自身设计的优势外,Ceph凭借在技术生态上与OpenStack的对应关系,在国内外收获了大批用户,在中国许多企业的大型私有云建设当中,都能看到Ceph的身影。
Ceph虽然很热,但远非一统天下,青云QingCloud也有分布式存储产品QingStor,早期,青云也选择了Ceph,不过,因为看到太多Ceph问题后,最后还是决定自己写一套存储系统。
在青云QingCloud的SDS方案架构当中,青云循序渐进,采用自研技术,先后推出了对象存储、分布式块存储NeonSAN和分布式文件存储,在性能,稳定性,扩展性以及丰富多样的企业级特性方面不断优化,并且指出了Ceph性能以及一些设计上的问题。
不久前,基于Gluster做ServerSAN的大道云行也获得了融资,在国内,还有许多互联网公司都在研发和探索包括Gluster在内的分布式存储方案。在技术架构更先进,更热衷于敢为人先的互联网公司,软件定义存储也有丰富的实践经验,不过,互联网技术不在此次话题讨论范围内。
看未来,随着ServerSAN技术的逐步成熟,性能越来越好,功能逐步完善,应用范围会越来越广,比如,青云QingCloud摆出了用QingStor NeonSAN替代Oracle数据库一体机的态势,具体替换的是否顺利,虽然现阶段已经有了生产系统落地的案例,但可行性还有待验证,但总体来看,ServerSAN的发展趋势是对的。
在对象存储方面,归档存储将更多与云端互动,与云端集成,将备份归档交给云端来完成一部分,有人说对象存储不是一块单独的市场而是一种技术,是一种经常跟文件存储市场非常接近的存储。如果说性能和使用便捷性是两者最根本区别的话,随着场景多样化的发展,这种区别只会原来越大,或许,未来会有更多人认可对象存储的独立市场地位。
4,二级存储
2018年存储市场的新热点还有第二存储(secondary storage),代表性事件是2018年4月软银(就是投融ARM和阿里的那个软银)估值Cohesity达10亿美金,企业存储界又一个独角兽的节奏,值得一提的是,Cohesity还有许多来自谷歌、Nutanix、VMware以及思科的人才。
2018年11月,Cohesity的D轮融资拿到了来自软银的2.5亿美金,比前三轮加起来都多。前不久,同类型企业Rubrik获得了2.6亿美金E轮融资,融资总额高达5.5亿美金。
Gartner 2017 年数据中心备份与恢复魔力象限
从分类来看,Cohesity、Rubrik都是做数据管理的平台,提供数据备份和恢复服务,做这个的很多,为什么是这几家公司冲出来了呢?
以Cohesity为例,他提供的是一种能以便捷的方式整合企业数据孤岛的方案,在便捷性和创新性方面,超融合是很重要,超融合在这里不是用作主存储。
以Rubrik的描述来看,二级存储平台需要支持多种关系型数据库、NoSQL数据库、各种操作系统、各种虚拟化环境以及云环境,在多种复杂环境下都能游刃有余。
二级存储的核心是把所有的数据都整合到一个平台上,二级存储不是新的概念,大致上就是备份和归档。让二级存储重新焕发生机的是方案本身的优势,还有企业数字化转型时代,企业对数据战略意义认识更深入,数据保护意识提升了。
结语
以上是笔者对于2018年企业存储市场的一些认识和看法,以及一些大致上的趋势描述,企业存储不会有太明显的跨世代的突破,只要数据越来越重要,数据存储的价值也将持续提升,这应该是存储市场最没毛病的描述了吧。