太阳sun网站 InfoStor-TL 分布式磁带存储技术白皮书
发布人:Marketing 发布日期:2021-10-19 10:46:21 点击数:9369
2021.02 第2.1版
冷数据的存储从来没有如现在一般迫切,其增长势头,价值体现,来源都与以往不同,磁带做为冷数据存储介质,在现今IT环境中角色越发关键,把这个变化比做凤凰涅磐也毫不夸大其辞。
此白皮书基于这一背景,磁带在现有技术条件下,承载这些新的业务需求的磁带布署方式也一样发生了变化,企业对于弹性、简化以及成本的考量,促使磁带技术以一种轻量级的方式提供服务,分布式磁带库的应用变得更为广泛。
分布式磁带库,以模块的方式,能够像搭积木的方式在机房中灵活部署,按照需求扩展,安装和运维几乎不需原厂干预,采用LTFS开放软件,使磁带库轻松融入客户整体架构,另外,最重要的是各项成本和支出表现优异,这使其成为企业的最佳选择。
本白皮书同时对太阳sun网站INFOSTOR-TL产品做了基础性的介绍,为用户提供参考,以方便用户作出最佳决定。
1. 分布式磁带存储技术
众所周知,磁带技术几乎伴随着信息技术而生,曾经作为主存储使用,有着光辉的历史,但与硬盘的技术及市场的竞争中逐渐势弱,不断边缘化,似有被磁盘技术完全替代的趋势。然而,随着移动技术,大数据及云计算的兴旺发展,信息技术革命真正进入数据主导时代。
数据改变一切,当然也改变了数据存储的方式,纵览全球的大型的云数据中心,包括Microsoft, Google, AWS, Facebook, 磁带技术已经被大规模应用于冷数据存储,成为归档及备份类应用当仁不让的第一选择。
磁带技术浴火重生,凤凰涅槃,其背后的驱动力仍在于数据,在于数据的价值,以及这些价值呈现方式,还包括数据的获取成本,使用时机,难以衡量的生命周期,最关键的还是数据规模。与其他存储介质相比,磁带存储技术完美契合了这些新的需求,这表现在:
- 从成本上,不论是购买成本(CAPEX, 资本性支出),还是运维成本(OPEX,管理性支出),相比于闪存和硬盘(包括SMR类高密度近线硬盘),磁带的成本优势巨大,这种数倍甚至十数倍的TCO(总拥有成本)优势反馈到超大规模的数据量(通常数百PB甚至数个EB)层面,这就为企业节省了千万甚至数亿人民币级别的成本支出,这种节省,对改善企业基本面,增强企业显示竞争力,具有无可抵御的吸引力。
- 从技术上,磁带技术潜力巨大,磁录密度几乎线性增长,这与磁盘后继乏力形成鲜明对比,根据现有的路线图,磁带介质容量几乎每3年增长50%甚至100%,实验室环境中单柄磁带已经做到了528TB,这确是磁盘甚至闪存难以企及的技术底蕴,更是光盘存储望尘莫及的。除去密度之外,磁带与生俱来的空隙(Air Gap)技术为网络及数据安全提供最后的保障。
- 从产品生命周期及可靠性来讲,磁带技术(包括磁带库,磁带机和磁带)可谓超长待机,磁带的可靠性相较硬盘技术高3个数量级,这使磁带机和磁带库的生命周期包括售后在内往往超过20年,而在数据中心中的30年前的磁带比比皆是。
- 从企业社会责任来讲,磁带技术因其离线特性,天然对环境较为友好,电力消耗相对于闪存和硬盘来讲几乎忽略不计,这不仅节省运维成本,同时切实践行了企业的社会责任承诺。除了电力消耗,磁带对环境的友好性还表现在对数据中心的环境要求上,对机架,空气质量,温湿度等等相比于其他存储介质均较为宽松。
1.2 LTO磁带技术及路线图
LTO 技术联盟 (LTO Consortium)提供开放磁带技术发展路线,包括LTO Ultrium磁带技术以及LTFS (Linear Tape File System)磁带开源文件系统,联盟厂商采用统一的技术路线,提供标准化,统一开放的产品,使磁带技术能得以简单有效的方式提供给客户。
LTO Ultrium的技术路线如图1所示,2020年4季度末,LTO9产品已发布,并计划于2021年第一季度向市场推出相应的产品。按照LTO联盟的技术路线图,今后的磁带密度皆比上一代提升一倍。
图1:LTO Ultrium磁带技术路线图
附表1则为目前及未来市场中的LTO磁带技术的数据表:
LTO 6 | LTO 7 | LTO 8 | M8 | LTO 9 | LTO 10 | LTO 11 | LTO 12 | |
发布时间 | 2012/12 | 2015/12 | 2017/12 | 2020/09 | 2023*** | 2026*** | 2029*** | |
磁带裸容量 (TB) | 2.5 | 6 | 12 | 9 | 18 | 36 | 72 | 144 |
磁带压缩容量 (TB)* | 6.25 | 15 | 30 | 22.5 | 45 | 90 | 180 | 360 |
磁带长度(m) | 846 | 960 | 960 | 960 | 1035 | / | / | / |
磁带材料 | MP或BaFe | BaFe | BaFe | BaFe | / | / | / | / |
磁带内存 (KiB) | 16 | 16 | 16 | 16 | / | / | / | / |
磁带机未压缩最大读写速度(MB/s) | 160 | 300 | 360 | 300 | 400 | 1100** | / | / |
磁带机压缩后最大读写速度(MB/s) | 400 | 750 | 900 | 750 | 1000 | 2750** | / | / |
全磁带写入时间(按未压缩速度hh:mm) | 04:20 | 05:33 | 09:16 | 08:20 | 12:30 | 12:07** | / | / |
WORM | 可以 | 可以 | 可以 | 不可以 | 可以 | / | / | / |
加密 | 可以 | 可以 | 可以 | 可以 | 可以 | / | / | / |
注: * 磁带按2.5:1压缩; **为技术计划;***为预计时间; “/”表示尚无可披露数据 |
1.3 冷数据存储技术方向以及对磁带库的要求
根据IDC的预测,企业数据产生的年度复合增长率水平为40%-50%,每2-3年数据增长一倍,这也意味着全球范围内,数据在2025年之前将达到甚至超过200ZB,其中产生于中国的数据将占据1/4。在这些数据中,温冷数据占据总量的90%, 按照IDC的定义,超过30天的纯冷数据则占总量的60%以上,这就是说,即便在中国,届时每年会有将近30ZB的冷数据需要存储。
与数据爆发式容量增长的同时,冷数据的价值体现也在发生改变,或者说,数据的价值呈现变得多元化,既存在数据价值相对较高的数据库,ERP类的数据,这类数据增长相对平缓;也存在大量AI科学训练,媒体及医学影像数据这类相对价值稀薄的数据;还包括为满足政策法规要求所必须存储的价值几乎为零的数据,可以说数据的价值是与其复原或恢复的概率直接相关。
大幅降低冷数据单位存储成本,这个要求变得愈发迫切,在存储介质一端,闪存通过技术的更新(如3D NAND)大幅增加容量以降低成本,而希捷大规模HAMR (Heat Assited magnetic Recording),西数借助MAMR (Microwave Assisted Magnetic Recards)技术期望提升硬盘容量,但值得指出的是磁记录面密度的提升,磁带的可提升空间相较于磁盘具有巨大优势,2020年底,Fujifilm联合IBM发布基于锶铁氧体(SrFe)技术的磁带技术,单柄磁带容量达到580TB,而磁记录面密度也仅仅约为12TB硬盘密度的1/3。从技术角度而言,磁带是唯一能解决这一要求的唯一选择,包括DNA存储,5D晶体技术,磁阻式随机访问存储器(MRAM)都无法胜任。
包括Google、微软、AWS一批云计算厂商大规模部署磁带库,云应用也改变了磁带库的传统应用方式,最明显的莫过于采用对象接口(S3)方式,在这方面有开源项目可供利用,如OpenStack Swift,名为SwiftHLM的组件可插入OpenStack Swift堆栈以便在系统中添加磁带作为二级或三级存储使用,当然有更多的商业对象存储软件可供选择,比如Xtreme Store以及PoINT归档网关等等。
冷数据应用还体现在量子计算领域,现有的非对称加密算法ECC,RSA以及AES-128/256都将变得不安全,新的量子安全加密(QSC)机制已经提上日程,技术上,加密的数据无法压缩(compresion)或除重(dedup),这对磁带机的性能也提出了要求。另外,在超大规模归档存储中,纠删码(EC)的使用会大幅降低数据存储的安全成本,使用纠删码的环境下,作为可移动存储,磁带与硬盘及SSD有着很大不同,实践中需要利用独特方法例如小文件的聚合及片段读取以提升整体性能。
云,AI以及边缘计算的另一个技术趋向在于磁带库部署方式的改变,多点部署,业务可弹性,简化运维已成为互联网及云计算厂商的三大基础要求,基于这些要求,分布式磁带库成为更切实的选择。
1.4 集中式及分布式磁带存储技术选择
从产品形态上,集中式磁带存储技术最重要的技术特性表现在可横向扩展上,例如IBM TS4500,昆腾Scalar i6000等产品,集中式磁带存储技术更多的应用在一两个数据中心中,单个磁带库可扩充至一万甚至数万个磁带槽位,同时赋予大量I/O槽位以便磁带离库操作,软件上配置齐全,如磁带虚拟化,多路径以满足传统的,大规模备份和归档需要。配置强大是集中式磁带技术的优势,但这种形态的磁带库劣势同样明显,首先,其安装相当复杂,很多情景下需要机房改造,全程需要原厂介入,其次,运维难度较高,有较高的学习成本,故障后只能依靠原厂资源,再有,部署无法灵活,迁移成本代价高昂,如果涉及到数据的大规模远程复制难度几乎无法想象,最后,集中式存储的硬件价格,软件许可,售后维保成本都比较昂贵。
如上文所述,分布式磁带存储技术是类似于云归档存储部署的最佳选择,集中式磁带技术的劣势在新的技术环境中则成为优势,分布式磁带技术从机械构件上相对简单,通常单机架部署,可充分利用现有机架空间,容量可通过3U或6U模块扩充;安装及维护简单,部件可热插拔或仅需要较短的停机窗口更换并重新启用,这些过程基本上可不需要原厂参与,在数据需要大规模迁移的情况下,甚至可以直接以物理迁移的方式,将一个数据中心的磁带库运送并挂载到新的数据中心使用,数据使用完毕后,再拆卸运送回原处或其他数据中心使用,这会极大降低网络开销并切实提升业务效率。
在实际部署中,分布式磁带存储技术可以图2所示类似以细胞(Cell)形式无限扩展,每个细胞都由一组磁带库模块构成,单个细胞内独立拥有一个缓存及数据库节点(服务器),也可多个细胞共享一个节点(服务器),节点提供的功能包括元数据(metadata)管理,HTTP接口服务, 或作为备份服务器,另外最重要的的是作为读写缓存(cache),作为应用和带库之间的临时性存储池。
图2:分布式磁带存储细胞化部署
在细胞化结构中,节点之间通过以太网连接,节点和磁带库之间囿于现有技术可以FC或SAS方式直连,也可通过FC SAN交换机集中式管理,在一些商业软件中,节点和磁带机之间构筑分区,这种分区可以专有也可以动态方式存在,每个分区所管理的磁带(catridge)则固定不变。节点之间可互为冗余,当某个节点发生故障时,其他节点可接管故障节点所管理的分区。如图3所示:
图3:PAG的动态分区架构 (使用交换机及3/4 EC部署)
2. 太阳sun网站infostor-TL分布式磁带存储产品
2.1 INFOSTOR-TL磁带库总体情况
INFOSTOR-TL磁带库大致可分为两类,一类为中小客户备份所需的入门级自动加载器及磁带库, 均为机架安装,包括1U和2U两种形态;另一类则为模块化分布式磁带库,每个模块以3U或6U形式体现,可扩展至1个标准机架。
表2:为入门级自动加载器及磁带库技术参数汇总如下:
1U磁带自动加载器 | 2U磁带库 | |
型号 | FlexStor 1U | FlexStor 2U |
安装方式及机架高度 | 机架, 1U | 机架, 2U |
磁带机数量 | 1个半高 | 1个全高或2个半高 |
磁带机接口 | SAS, iSCSI, FC | SAS, iSCSI, FC |
可支持的磁带机 | LTO6, 7, 8, 9* | LTO6, 7, 8, 9* |
磁带总槽位数 | 8 | 24 |
I/O槽位数 | 1 | 1 |
机器人MCBF | 50万次 | 50万次 |
电源数量 | 1 | 1 |
电源功率 | 80W | 160W |
噪音辐射 | ≤ 5.8dB | ≤ 5.8dB |
温度 | 10°C – 35°C | 10°C – 35°C |
相对湿度 | 20% -80% | 20% – 80% |
尺寸 | 447.5x740x43.8mm | 447.5x740x87.6mm |
重量 | 10Kg (不含磁带) | 12Kg (不含磁带) |
*表示计划; |
2.2 INFOSTOR-TL分布式磁带库
INFOSTOR-TL分布式磁带库技术参数可汇总如下:
- (1)3U/42U块化磁带库
3U模块 | 42U磁带库 | |
型号 | Multistor 3U | / |
安装方式及机架高度 | 机架, 3U | 机架, 42U, 1个基本模块, 13个扩展模块 |
磁带机数量 | 3个半高或1个全高或1个全高+1个半高 | 14个全高或42个半高或14个全高+14个半高 |
磁带机接口 | SAS, FC | |
可支持的磁带机 | LTO6, 7, 8, 9* | |
磁带总槽位数 | 80 | 560 |
I/O槽位数 | 5 | 最大70个 |
带仓数量 | 2 | 28 |
操作前面板 | 3.5”显示器; 配置, 管理, 状态及诊断菜单 | |
远程管理接口 | 通过标准以太网连接(10/100/1000 Mbit), 基于Web管理 | |
安全 | SSL/TLS 1.2, 用户管理/LDAP集成 | |
网络协议 | IPv4/IPv6 | |
错误及告警(alert)管理 | SNMP Trap告警, 错误及警报邮件告警系统 | |
分区 | 20 | |
机器人MCBF | 100万次 | |
电源数量 | 2 | 最大28个 |
单个电源最大功率 | 300W | |
噪音辐射 | ≤ 5.8dB | |
海拔 | 5000m | |
温度 | 10°C – 35°C | 10°C – 35°C |
相对湿度 | 20% -80% | 20% – 80% |
单模块尺寸 | 475x892x134mm | 475x892x134mm |
重量 | 20Kg (不含磁带) | 280Kg (不含磁带) |
*表示计划; |
- (2)6U/42U块化磁带库
6U模块 | 42U磁带库 | |
型号 | Multistak 6U | / |
安装方式及机架高度 | 机架, 6U | 机架, 42U, 1个基本模块, 6个扩展模块 |
磁带机数量 | 6个半高或3个全高 | 21个全高或42个半高 |
磁带机接口 | SAS, FC | |
可支持的磁带机 | LTO6, 7, 8, 9* | |
磁带总槽位数 | 80 | 560 |
I/O槽位数 | 5 | 最大70个 |
带仓数量 | 2 | 14 |
操作前面板 | 5.7”触碰显示器; 配置, 管理, 状态及诊断菜单 | |
远程管理接口 | 通过标准以太网连接(10/100/1000 Mbit), 基于Web管理 | |
安全 | SSL/TLS 1.2, 用户管理/LDAP集成 | |
网络协议 | IPv4/IPv6 | |
错误及告警(alert)管理 | SNMP Trap告警, 错误及警报邮件告警系统 | |
分区 | 20 | |
机器人MCBF | 200万次 | |
电源数量 | 2 | 最大14个 |
单个电源最大功率 | 300W | |
噪音辐射 | ≤ 5.8dB | ≤ 5.8dB |
海拔 | 5000m | |
温度 | 10°C – 35°C | 10°C – 35°C |
相对湿度 | 20% -80% | 20% – 80% |
单模块尺寸 | 475x892x268mm | |
重量 | 44Kg (不含磁带) | 308Kg (不含磁带) |
*表示计划; |
- (3)适配的LTO驱动器
LTO驱动器 | 接口及高度 |
LTO 6 | LTO 6 HH FC 单口半高
LTO 6 HH FC 双口半高 LTO 6 HH SAS 双口半高 |
LTO 7 | LTO 7 HH FC 单口半高
LTO 7 HH FC 双口半高 LTO 7 HH SAS 双口半高 |
LTO 8 | LTO 8 HH FC 单口半高
LTO 8 HH FC 双口半高 LTO 8 FH FC 双口半高 LTO 8 HH SAS 双口全高 |
- (4)支持的SAS及FC接口速度
接口 | LTO磁带机 | 端口速率 |
SAS | LTO 6/7/8/9 | 1.5 Gbps, 3 Gbps, 6 Gbps |
FC | LTO 6/7/8/9 | 2 Gbps, 4 Gbps, 8 Gbps |
- (5)Ultrium LTO 读写兼容性表
LTO 5磁带机 | LTO 6磁带机 | LTO 7磁带机 | LTO 8磁带机 | |
LTO 5磁带(未加密) | 读/写 | 读/写 | 只读 | |
LTO 5磁带(加密) | 读/写(使用密钥) | 读/写(使用密钥) | 只读(使用密钥) | |
LTO 6磁带(未加密) | 读/写 | 读/写 | ||
LTO 6磁带(加密) | 读/写(使用密钥) | 读/写(使用密钥) | ||
LTO 7磁带(未加密) | 读/写 | 读/写 | ||
LTO 7磁带(加密) | 读/写(使用密钥) | 读/写(使用密钥) | ||
LTO 8磁带(未加密) | 读/写 | |||
LTO 8磁带(加密) | 读/写(使用密钥) |