对象存储：存储市场黑马及未来市场发展的深度解读

IDC数据显示：SDS蚕食传统存储，对象存储蚕食文件系统市场

  近期IDC发布了2020年SDS中国区市场报告，我们可以从统计数据分析出存储市场正在发生的格局变化。

  从SDS的整体数据来看，SDS的市场份额占比相比2019年增长了5.4%，是增长最快的一个市场，而较热门的HCI也仅增长了2%。而传统存储则从2019年的占比65%下降到57.7%，下降了超过7个百分点。从这个数据可以看出，SDS和HCI在不断地蚕食传统存储市场。

  图1 2020/2019中国存储市场概况

  将SDS的三个产品分类：块、文件、对象的市场份额拆开来看，文件依然占比，但份额从2019年的59.9%下降到了48.5%。

  图2 2019-2020中国SDS市场概况

  2020年的块存储增长较快，IDC给出的原因是中移动大规模集采造成的影响，属于短期波动。就整体市场空间而言，2020年对象存储增长了63.1%，文件存储增长了22.7%。根据IDC的预测，未来5年平均增长最快的还是对象存储。

  图3 2020-2025中国SDS市场空间预测

  为什么对象存储会替代文件系统

  对象存储和文件系统都以非结构化数据存储为主要目标市场，但是对象存储在技术上存在以下先天优势，能够更好地满足应用需求：

  1.对象存储采用哈希索引定位和读取数据块，具有更丰富的元数据管理手段，使得对象存储在海量小文件场景下拥有远比文件存储强大的性能优势;

  2.物理世界中的数据往往有多重属性，对象存储可以对数据附加多维度的标签来描述这些属性，因此在检索和管理数据时，对象存储比只能基于文件名检索的文件系统更高效;

  3.对象存储RESTful风格的应用接口，大大简化了存储协议栈，缩短了应用和存储之间的距离，而存储系统的智能化使得应用可以将对数据的计算处理卸载到存储系统进行，在很多场景下，这种计算模式可以大大降低存储与计算之间的交互次数或吞吐量，简化应用的复杂度和业务流程，极大提升应用的关键性能指标。

  对象存储逐渐替代文件系统的主要应用场景

  从应用场景看，对象存储正在替代传统文件存储的领域。我们按照Gartner的文件系统传统应用场景来分析对象存储替代文件的主要原因。

  表1 传统文件存储被对象存储替代的应用场景

  新兴应用场景是未来对象存储的增长点

  我们还要看到，除了传统文件存储的市场，对象存储在新兴场景的增量是一个更大的市场。

  一、AI视觉场景

  随着AI技术在各行各业应用的深化，公安、交通等行业开始利用AI改进视频监控技术，将视频中的关键图片抽取出来，进行结构化分析后保存图片和相关结构化数据，从而快速检索符合特征的人/车图片，提升检索效率，同时也能够提升存储的数据价值。视频监控场景原来大量采用视频监控存储，采用AI技术后，存储的是图片和图片的结构化数据，传统视频监控存储无法满足海量图片存储的性能需求。这部分需求会逐步被对象存储取代，而且对象存储可以存储图片的标签，支持基于标签的检索，长期来讲会提升对象存储的市场占有率。

  在制造业，智能制造利用AI技术替代人工进行产品质检也会产生海量的图片，杉岩数据的一些制造业用户每天产生近100TB/数千万文件的图片数据，对快速检索有很强的需求，比如以生产线、工序号、时间、良/次品、物料ID等为检索手段。大量的图片使传统存储面临很大挑战，尤其是在图片的检索中，文件系统只能基于文件名进行检索，检索效率非常低下，在这种新场景下用户使用非常不便。采用对象存储后无论在性能，还是检索的多维度、检索效率上都非常匹配用户需求，这也是新场景带来的对象存储机会点。

  二、IPFS存储场景

  IPFS场景对存储的容量规模需求非常大，由于规模大，对于存储的性价比要求也比较高。在做时空证明时，IPFS系统需要进行大量的随机读，并将读取的内容组装起来，业务系统不断地向存储集群进行大量读请求，请求数量对网络形成非常大的压力。杉岩数据的IPFS存储解决方案在计算集群中整合多次读请求，由存储集群一次性处理，并将大量的请求分散到所有磁盘，然后组装读取的数据，该方案可以保证高性能的大规模数据存储。目前在IPFS存储场景，大规模的矿商基本采用对象存储方案，这会在中期大幅度提升对象存储的市场空间。

  三、大数据存算分离，替代HDFS存储

  大数据集群由于历史原因一直采用存算融合架构，底层采用HDFS分布式存储。受云原生架构影响，Hadoop/Spark计算层为了适应弹性，采用云/容器化的趋势增加，而HDFS云化/容器化难度较大，所以存算分离架构的需求越来越多。采用存算分离架构可以带来如下好处：

  ·存储和计算独立扩展，计算能力不够单独扩展计算集群，存储空间不足单独扩展存储容量，可以降低大数据平台的建设成本。

  ·计算弹性使业务可以根据需求收缩和扩展，避免长时间占用大量物理资源。

  ·Hadoop/Spark/Impala可以独立升级，无需考虑HDFS数据格式兼容无法升级问题，快速应用计算层组件的特性。

  ·对象存储的商用产品，在稳定性、可维护性、升级兼容性方面大大优于开源的HDFS，可以降低存储维护难度。

  目前的替代方案就是采用对象存储替换HDFS存储，目前该方案已经在公有云上得到验证，企业私有云用户正在逐步替换。

  云原生应用私有化部署，替代传统NAS

  云原生应用如阿里钉钉，早期为中小型企业提供SaaS服务，积累了大量中小型用户，这些新兴SaaS软件供应商基本都是基于云/容器，以及对象存储来开发应用。随着产品的口碑不断提升，中大型企业认识到这些新的应用服务非常方便，但部署形态上希望采用私有云以保证信息安全和合规。随着这些云原生应用持续拓展到中大型用户机房，会倒逼基础架构向容器/对象的架构转型，而且采用跟公有云架构普遍采用的对象存储，也更加容易帮助企业构建混合云基础架构，也会是未来对象存储持续增长的动力。

  表2 新兴场景文件/对象存储优劣对比

  小结

  1.文件存储的传统领域：对象存储在非结构化数据归档、文件共享、备份等场景会不断蚕食传统文件存储市场空间。

  2.新场景领域如AI视觉场景、IPFS场景、大数据场景、云原生应用私有化部署场景，对象存储会成为主流。

  3.建议CIO尽早构建对象存储基础架构，满足AI应用、数据湖，以及云原生应用下云对基础架构升级换代的需求。

  图4 对象存储和文件存储的适用场景