软件定义存储,看这一篇就够了!

SSDFans 2020-05-23 00:00


点击蓝字
关注我们



1.SDS科普

SDS(Software Defined Storage)即软件定义存储,简单地说就是将存储硬件和软件进行分离,采用标准化硬件作为载体(如X86架构),基于软件实现企业级存储功能和服务。相对于传统存储硬件盒子,SDS中存储软件成为了核心。SDS通常都是分布式存储,形式分为文件存储(POSIX/NFS/CIFS)、对象存储(S3)和块存储(iSCSI/iSER/NVMeoF)三种



SDS的兴起源于硬件的快速发展,CPU、网络、SSD等硬件成熟度、稳定性、性能不断提升,同时云计算对存储扩展性、可靠性、高性能、低成本的迫切需求,从而使得SDS成为可能。


从云计算到传统行业,从边缘到核心业务,SDS目前已经成为存储市场主流,替换传统SAN/NAS存储,即去IOE运动。SDS的产品模式分为独立存储和HCI超融合两种,后者中SDS决定着HCI的核心竞争力。


SDS开源软件和商业系统,可谓百家争鸣,多为面向HDD机械硬盘或SSD混合型容量存储。随着SSD技术和成本不断演进,新一代性能型全闪SDS即将成为主流趋势。同时,智能化SDS发展趋势凸显,即第五代智能存储。


2.发展简史

2003年,Lustre 1.0发布,一款面向HPC的开源高性能集群并行文件系统。

2006年,Gluster诞生,最初目标是代替Lustre和GPFS分布式文件系统。

2009年,Nutanix公司发布具有专利的超融合基础架构,公认为HCI鼻祖。

2010年,Sheepdog发布,一款极简风格的开源分布式块存储系统。

2011年,Sage Weil创立了Inktank公司主导Ceph的开发和社区维护。

2012年,Pure Storage发布第一代AFA全闪存阵列,引领全闪存储潮流。

2014年,VMWare正式发布VSAN第一个版本,内嵌于vSphere内核中。

2014年,FhGFS改名为BeeGFS,并在中小型HPC系统中得到关注和应用。

2014年,MinIO发布,一款极简风格的开源高性能分布式对象存储系统。

2015年,这年前后中国涌现一批基于开源Gluster/Ceph/BeeGFS的存储初创公司。

2015年,被普遍认为是中国SDS/HCI市场的元年,整个市场呈现高速增长的局面。

2017年,Qumulo发布新一代高性能全闪存文件存储系统,面向百亿级别文件数量应用。

2017年,这年前后中国涌现一批巨头入场,基于开源Ceph研发SDS存储产品。

2019年,根据IDC统计数字SDS/HCI已经成为市场主流,占据超过1/3外部存储市场份额。

2020年,信创产业开始将SDS纳入产品名录,中国市场出现新一代性能型全闪SDS产品


3.技术流派

本身SDS产品技术路线而言,国内开源存储占了大多数,分为六大技术流派,各显神通。



Lustre开源高性能并行文件系统,波澜不惊的20+年发展历程,常青树标杆。

Lustre最大特点就是可扩展的高性能,尤其TB级超高带宽,以及MPI并行支持。

Lustre缺陷同样非常明显,系统复杂性极高,数据可靠性过度依赖硬件。

Lustre专注高性能并行计算场景,几乎占据HPCTOP500半壁天下。

Lustre正在发展全闪存架构、集群元数据、副本/纠删码冗余机制,以突破更高带宽、百亿级小文件、Share-nothing架构下数据高可用等挑战。


Gluster,极简架构的开源分布式文件系统,目标是替换Lustre/GPFS,最为广泛流行。

Gluster,最大特点是简单可靠,独特去中心架构下的高弹性扩展能力,更低硬件要求。

Gluster最明显的不足是海量文件下的元数据检索能力,小I/O能力不太够。

Gluster非常适合大文件带宽型应用场景,比如媒体资源、视频监控、HPC,适用面宽泛。

Gluster正在优化大规模集群管控、海量元数据管理、容器持久化存储、混合云存储等功能,以拓宽更多的应用场景。


Sheepdog,极简架构的开源分布式块存储系统,专为KVM/QEMU设计,昙花一现。

Sheepdog最大特点同样是简单易用,无中心架构扩展能力强,专注做好块存储功能。

Sheepdog显著短板是高级存储特性不足,背后无公司运营,系统稳定成熟度不够。

Sheepdog专为QEMU虚拟机设计,适用OpenStack,也可作为独立iSCSI块存储设备。

Sheepdog起了个大早,2015年前后曾经发展势头很不错,2018年基本停滞,甚是可惜。


Ceph,开源分布式统一存储系统,追求完美架构,因OpenStack和对象存储成为云计算宠儿。

Ceph最大特点是统一存储,同时支持块儿、对象和文件存储,高级存储功能规格全面。

Ceph最大问题同样是统一存储,系统架构复杂度极高,文件功能一直未能达到生产成熟度。

Ceph最佳应用场景是OpenStack,天然生态融合,对象存储应用比较广泛已经超越块存储。

Ceph正在努力优化其文件系统成熟度、降低I/O延迟、支持高速网络和新型存储介质,以适应云计算的快速发展步伐。


BeeGFS开源高性能分布式文件系统,Lustre挑战者,HPC领域存储新秀。

BeeGFS最大特点是开放硬件架构下的高性能,相对Lustre/GPFS更加灵活易用和更高扩展性。

BeeGFS不足之处是同样是系统复杂性极高,性能之外的高级存储功能缺失比较多。

BeeGFS聚焦HPC高性能计算场景(尤其是中小型),目前已经在TOP500/IO500崭露头角。

BeeGFS正在发展混合云化环境文件存储服务、全闪存架构性能优化、AI场景化应用优化,以及高级存储功能,以拓宽HPC高性能计算之外的更多应用场景。


Minio极简架构的开源分布式对象存储系统,AWSS3兼容最好的开源实现,对象存储新贵。

Minio最大特点是轻量可靠,专注做好对象存储,独特扩展模式获得更高扩展性和易维护性。

Minio被诟病最多的同样是按集群扩展模式,单个桶无法扩容,仅支持EC纠删码延迟较大。

Minio主要应用场景为人工智能、大数据分析、云原生应用、数据备份容灾等。

Minio正在发展对接更多云生态应用、对象存储混合云化服务、高性能硬件环境下的性能优化,更好帮助构建云原生数据基础架构,并承载更多关键核心应用。



4.技术门槛

存储圈流传这样一个说法,搞存储是一个危险系数很高的职业。

为啥呢?计算出问题通常都是局部单机故障,重启试试大概率就能解决,而存储一旦出问题就是全局系统故障,搞不好就成背锅侠。存储作为IT基础设施的底座,重要性不言而喻,谁整谁知道。


存储圈内人士总是对存储有无穷的敬畏,越是大牛越是如此。而存储圈外人士往往低估存储的门槛,认为只要投钱花时间就能搞出牛逼的存储产品。这里面直接忽略了科学理论、工程技术的系统复杂性和人的决定性因素。如果是这样,哪有什么卡脖子关键技术一说。


存储系统软件是一个复杂的系统软件工程,需要严谨的理论架构和工程化来保证数据安全性和系统稳定性,存储的底线和红线是不允许丢失数据。存储算法理论、系统架构、硬件结构、操作系统、软件工程等各个环节都非常复杂。系统复杂性决定了存储研发不可能是一件容易的事,对于存储新产品技术要在无人区不断摸索和试错,对理论创新、系统架构、工程化能力要求很高,这些都直接决定了存储的极高门槛。


就存储产品技术而言,中国至少落后硅谷一代,时间上真不大好估算,有些技术我们是压根没有掌握。国内存储采用开源路线居多,同质化现象极为严重,研发上采用Follow对标跟随策略,创新领先的东西极少,并没有出现类似硅谷百家争鸣的景象。这些同样佐证了存储门槛很高,一定要有客观清醒的认知。


5.全闪SDS

SSD固态硬盘技术成熟度和先进性不断增强,成本不断下降,取代大部分HDD机械硬盘是必然结果。第五代智能存储发展趋势,全闪满足不断提升的性能型场景需求和企业数字化转型。从存储颗粒芯片、主控芯片到主控软件,SSD能够实现完全国产化,而机械硬盘无法做到,全闪存是信创产业实现国产化存储替换的必由之路。


2015年被普遍认为是中国SDS/HCI市场的元年,整个市场呈现高速增长的局面,2019年根据IDC统计数字认为SDS/HCI已经成为市场主流,占据超过1/3的外部存储市场份额。同时,全闪存储(全闪阵列AFA和全闪SDS)成为主流趋势,占用外部存储市场的半壁江山。2020可能会成为中国全闪存的发展元年,多家存储厂商发布了新一代的AFA全闪阵列,TaoCloud则发布了FASS新一代性能型全闪SDS产品。


全闪SDS特点是高性能,尤其是随机读写、低延迟和高带宽,主要用于高性能场景。

1)  云计算:云基础设施加速,高速云存储,帮助核心业务上云;

2)  金融科技:数据库加速,高性能容器存储,帮助去IOE和国产化替换;

3)  新基建:5G、AI、物联网、工业互联网,解决新兴行业性能痛点需求;

4)  其他:4K/8K高清非编、HPC、海量小文件,满足行业技术升级需求;


全闪存趋势已经很明显,全闪和混闪在SDS中占比已经达到50%。分布式全闪存硅谷代表创业公司有Pure Storage、kaminario、Excelero、E8、Qumulo、Wekaio、Elastifile,国内目前全闪SDS产品凤毛麟角。全闪存如果已经是绝对主流,那意味着再入场可能为时已晚,2020年正当时。


6.免费开源

SDS开源软件发展繁荣兴盛,诸如Lustre、Gluster、Sheepdog、Ceph、BeeGFS、Minio六大技术流派,国内存储厂商或多或少都享受着开源存储软件红利开源软件降低了存储研发的门槛,基于成熟的开源存储系统可以快速构建起具有一定竞争力的存储产品体系,实现市场布局和自主可控国产化。借助开源软件打造存储,无非是出于几种考虑,或是看好顺应开源大势,或是图快吃红利,或是认为研发成本低,或是没有能力自主研发。


采用SDS开源存储软件同样面临诸多巨大挑战。开源系统本身复杂性高,吃透并且能够掌握难度是挺大的通常都是跟随社区主导者的步伐发展。越是火热的开源存储,越是市场上同质化更加严重,容易陷入价格战的恶性竞争而非技术取胜,同质化竞争导致市场分散也限制了厂商的发展上升空间。开源软件需要严格遵守开源许可,尤其是走向国际化市场。另外,开源模式并不意味着免费或低成本。


对于国内存储厂商尤其是初创公司,自主研发SDS产品并且拥有完全知识产权的,实际上可以考虑免费和开源模式。这种模式下,技术先进性和世界顶级公司保持一致,降低全球化的门槛,从国内走向国际化,符合软件模式发展趋势。商业模式上来看,借助数字化新营销,免费软件模式能够实现零成本广泛获客,通过服务订阅和商业软件转化。


SDS软件定义存储的核心是软件,支持部署在裸金属、私有云、公有云及混合云上。SDS的理想目标是,简单稳定好用低成本,发展方向是免费开源软件和SaaS公有云化。当然,纵观开源社区,免费开源的关键在于谁来主导,掌控者得大发展(比如Redhat,也有例外),跟随者吃点红利小发展。



7.竞争格局

国内SDS产品基于开源路线为主,Ceph占绝对多数,其他有Gluster和BeeGFS。几乎全部都是第一代容量型SDS,落后硅谷一代技术,自研产品少。以下竞争格局根据厂商公开资料和存储圈内资讯整理而成,如有出入敬请拨正。


巨头企业:

华为:FusionStorage(参考Ceph,块存储)、OecanStor 9000(参考Ceph,文件存储)

浪潮:AS13000(开源Ceph,重点是文件存储)

新华三:OneStor(开源Ceph,块和对象存储)

曙光:Parastor(自研,文件系统,HPC场景)

深信服:EDS(开源Gluster+Ceph,块存储、文件和对象存储)

 

初创公司:

TaoCloud:XDFS(开源Gluster,以文件存储为主),FASS(自研,新一代全闪块存储)

XSKY:SDS系列产品(开源Ceph,块和对象存储)

杉岩:SDS系列产品(开源Ceph,块和对象存储)

鹏云:ZettaStor DBS(自研,块存储)

霄云:BOSS(自研,统一存储)

焱融:YRCloudFile(开源BeeGFS,文件存储)

龙存:Loong系列(自研,文件系统,HPC场景)



8.未来展望

数字世界那么大,存储必然有好发展。

2020年可能是全闪存储发展元年,全闪存已经是大势所趋,国内市场会加速度发展。

新兴技术、产业升级、新基建、信创产业,新兴需求驱动细分应用感知智能存储发展。

第五代智能存储,业界基本形成共识,人工智能技术将颠覆存储技术走向新境界。

 

预测未来的最好方法是创造它,JUST DO IT!




高端微信群介绍

创业投资群


AI、IOT、芯片创始人、投资人、分析师、券商

闪存群


覆盖5000多位全球华人闪存、存储芯片精英

云计算群


全闪存、软件定义存储SDS、超融合等公有云和私有云讨论

AI芯片群


讨论AI芯片和GPU、FPGA、CPU异构计算

5G群


物联网、5G芯片讨论

第三代半导体群

氮化镓、碳化硅等化合物半导体讨论

储芯片群

DRAM、NAND、3D XPoint等各类存储介质和主控讨论

汽车电子群

MCU、电源、传感器等汽车电子讨论

光电器件群

光通信、激光器、ToF、AR、VCSEL等光电器件讨论

渠道群

存储和芯片产品报价、行情、渠道、供应链




< 长按识别二维码添加好友 >

加入上述群聊




长按并关注

带你走进万物存储、万物智能、

万物互联信息革命新时代

微信号:SSDFans
SSDFans AI+IOT+闪存,万物存储、万物智能、万物互联的闪存2.0时代即将到来,你,准备好了吗?
评论 (0)
  • 使美国在21世纪保持安全,美国防部发布最新投资战略,12项领先发展科技,两项是传感器技术!近日(3月8日),美国国防部官网公布了《2024财年投资战略》(INVESTMENT STRATEGY FOR THE OFFICE OF STRATEGIC CAPITAL),确定了战略资本办公室(OSC)重点关注的优先关键组件技术行业投资战略,这是美国最新重量级投资计划。2022 年 12 月,美国国防部长劳埃德·奥斯汀三世 (Lloyd J. Austin III) 启动了战略资本办公室 (OSC),
    传感器专家网 2024-03-18 19:31 61浏览
  • 电脑上的很多东西都是赚钱的手段,知道了就轻松自在。如果你在Win10、11等安装应用程序,出现:应用程序无法启动,因为应用程序的并行配置不正确。有关详细信息,请参阅应用程序事件日志,或使用命令行sxstrace.exe工具。你各种删除再安装,清理注册表,各种残留清理,各种模块开关设置、甚至重装系统,都不行,你可以考虑安装一下:通过微软网站:Microsoft visual C++ 2005Microsoft visual C++ 2008因为微软自带系统没有这两个基础程序,旧的应用程序多数要用的
    老黄姓黄 2024-03-17 15:59 186浏览
  • 安装Ubuntu后,可能会影响到Windows 10的启动方式,特别是在使用双系统引导时。这可能是导致您无法通过按F8进入安全模式的原因。以下是一些可能的原因和解决方法:启动管理器更改:安装Ubuntu后,GRUB或其他启动管理器可能成为默认的启动引导程序。这些启动管理器可能不会像Windows那样响应F8键进入安全模式的指令。快速启动功能:Windows 10的“快速启动”功能可能会影响您进入安全模式的能力。当启用快速启动时,系统会跳过某些启动步骤,这可能会阻止您通过F8进入安全模式。系统文件
    丙丁先生 2024-03-19 08:54 45浏览
  • 总结:科普量子计算机的水书。至少第一章是在科普量子计算机。唯一有点用的就是我上面这一张照片里面的笔记。上面说了为什么量子计算机会比传统计算机运算速度快的原因:因为传统计算机一位只能有一个数字,但是量子计算机可以0和1叠加起来显示。这样就造成了传统计算机需要运行很多遍的东西,而量子计算机不管多少多难都只用计算一次。(前提是量子比特位够长)---------------------------------------------------------------------------------
    youyeye 2024-03-17 17:04 137浏览
  • 汽车氛围灯,顾名思义,是烘托车内氛围的照明灯,是汽车内饰情感化设计的一种体现。 一般有暖色(红色等)和冷色系(蓝色、紫色等)两种,在夜晚开启后绚丽浪漫,可营造车内情调,使得旅途并不是那么的枯燥无味,让人们拥有独特的驾驶体验。关于汽车氛围灯浪涌保护上海雷卯EMC小哥分析难点有以下几个方面:1. 复杂的电气环境:汽车的电气系统较为复杂,存在各种干扰源,如点火系统、电机、电子设备等,这可能会对氛围灯的浪涌保护造成挑战。2. 电压波动:汽车运行过程中,电源电压可能会出现较大的波动,例如启动引擎或电器设备
    上海雷卯电子 2024-03-16 13:51 93浏览
  • 导读:相信使用过PCAN工具的朋友都知道虹科PCAN-View这款免费软件,它具有直观的用户界面,可以实时监测和分析CAN总线上的数据帧,并提供过滤、发送和报文记录。但你知道吗?它其实不只是简单收发报文,虹科PCAN-View还能自动检测和报告CAN总线上的错误帧,帮助用户快速发现和解决通信问题。无论是在汽车、工业自动化还是嵌入式系统领域, 虹科PCAN-View都是一个功能丰富且广泛应用的工具,为用户优化CAN总线系统的性能和提升通信的可靠性提供了极大的帮助。本文带你一起走进这些功能细节,深入
    虹科汽车智能互联 2024-03-18 13:54 112浏览
  • 1. 整流桥功能介绍整流桥在电子领域中扮演着至关重要的角色,为各种电子设备和电路提供了稳定的电源。整流桥的主要作用是将交流电信号转换为直流电信号。当交流电信号通过整流桥时,它会使得只有一个方向的电流能够通过,从而实现了将交流电信号转换为单向的直流电信号。在一些手持设备需要小巧轻便的整流桥来将交流电转换为直流电。医疗器械:一些便携式医疗器械或医疗监测设备,由于需要经常携带和移动,通常采用小体积的整流桥设计。智能家居产品:如智能插座、智能灯具等,由于需要集成在家居环境中,因此需要小体积的整流桥来满足
    上海雷卯电子 2024-03-16 14:07 117浏览
  • RD-03E_V1.0的使用手册包含设备的基本功能、硬件规格、软件配置和安装条件等详细信息。以下是一些可能包含在手册中的关键信息:基本功能:介绍RD-03E的主要功能和技术特点,例如精准测距或手势识别能力。硬件规格:提供RD-03E模块的详细硬件参数,包括尺寸、接口类型、电气特性等。软件配置:说明如何进行软件设置,包括固件升级、参数调整等操作指南。安装条件:描述模块的工作环境要求,如温度范围、湿度限制等。烧录说明:指导如何使用支持的工具(如keil 5 IDE)和烧录器(如CMSIS-DAP、J
    丙丁先生 2024-03-16 12:54 79浏览
  • 导读:网关设备是确保数据流畅通信的关键。虹科PCAN系列网关凭借卓越性能和创新技术,为众多应用提供了高效稳定的解决方案。本文将深入探讨虹科PCAN系列网关内部存储空间,特别是EEPROM和SPI Flash的配置与利用,并解析如何通过C编程实现快速实时的信号存读。通过虹科PCAN-Router FD的实例,我们将展示这些存储空间如何助力网关设备在复杂环境中保持卓越性能。一、网关内部存储空间概览网关的内部存储空间经过精心设计,旨在满足快速、稳定的数据处理需求。除了常规的RAM外,虹科PCAN系列网
    虹科汽车智能互联 2024-03-18 13:56 94浏览
  • 直流电机是现代社会中无处不在的动力装置,但它们也不是永远运转的机器。让我们一起来了解一下,为什么直流电机会失效,以及我们可以采取哪些措施来延长它们的寿命。  1. 人为因素的影响: 操作失误是直流电机失效的一个重要因素。粗暴地操控电机,比如不小心让它掉落或者使用不当,都可能导致内部零件的损坏,从而使电机无法正常工作。此外,静电放电也是一个需要重视的问题,特别是对于无刷电机而言。静电放电可能会损坏电机内部的传感器,进而影响其控制与反馈系统。 2. 环境因素的考量: 环境条件对直流电
    艾迈斯电子 2024-03-16 11:29 76浏览
  • 艾迈斯欧司朗全新“样片申请”小程序,逾160种LED、传感器、多芯片组合等产品样片一触即达。轻松3步完成申请,境内免费包邮到家!本期推荐艾迈斯欧司朗首款支持UV-A辐射、环境光闪烁检测功能的微型环境光传感器TSL2585。TSL2585尺寸小巧,采用L2.0mm xW1.0mm xH0.35mm 6引脚OLGA超薄封装,非常适用于可穿戴设备以及手机等这类产品尺寸和厚度受到限制的应用。基于先进的干涉滤光技术,TSL2585的每一个感光像素上都精确沉积了特定光学设计的滤光膜,整体约5µm厚,由60多
    艾迈斯欧司朗 2024-03-18 18:35 100浏览
  • 来源:虹科汽车电子 虹科技术 | PCAN View功能细讲:从实时监测到错误帧分析原文链接:https://mp.weixin.qq.com/s/yOonZ5NqSCnKjURr9hNC6A欢迎关注虹科,为您提供最新资讯!#PCAN #CAN总线 #工业通讯导读相信使用过PCAN工具的朋友都知道虹科PCAN-View这款免费软件,它具有直观的用户界面,可以实时监测和分析CAN总线上的数据帧,并提供过滤、发送和报文记录。但你知道吗?它其实不只是简单收发报文,虹科PCAN-View还能自动检测和报
    虹科电子科技 2024-03-18 15:48 96浏览
  • 驱动功率和负性阻抗是石英晶体谐振器设计中的关键参数,直接影响振荡线路的性能和稳定性。驱动功率DL驱动功率指的是石英晶体谐振器在振荡过程中所消耗的功率,通常以微瓦为单位表示。将一根引线焊接到晶体上来测量电流值在振荡线路的设计中,必须提供适当的功率使石英晶体谐振器开始振荡并维持振荡。为了保证石英晶体谐振器的稳定性和长期可靠性,在振荡线路设计中应该避免提供过高的驱动功率。不同封装及频率的激励等级参考值:直插KX49U,贴片KX49M100uW(500Max)KOAN贴片晶体MHz (1612~7050
    koan-xtal 2024-03-16 03:25 48浏览
  • 本书涵盖了边缘计算的各个方面,通过这本书可以对边缘计算有比较全面的认识。书中从边缘计算的发展历史到边缘计算的硬件,存储,通信,安全性,架构,数据处理,开源框架等方面概括性的介绍了边缘计算各个方面涉及的内容。由于本人是通信运营商的一线网络员工,所以对书中的通信内容比较感兴趣,大致介绍一下书中相关内容。翻译搜索复制5G的发展无疑促进了边缘计算的应用,5G设计之初其实就是为万物互联而生的,只不过现阶段的大部分的用户只能感受到其中的一个业务场景——eMBB,eMBB为增强移动宽带,对应的是要求高速,大带
    lospring3 2024-03-16 11:10 111浏览
我要评论
0
5
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦