Horison公司2012年出了个分层存储的报告Tiered Storage Takes Center Stage,讲述分层存储的意义和方法,本文简单介绍一下。
如果要存储100TB数据,选择纯用硬盘的2层分层存储,价格是76.5万美金,而如果引入磁带并采用三层分层存储,价格就是35.9万美金,降了一半!所以分层存储对企业太重要了。
层次划分
传统的分层存储是3层:高性能FC磁盘阵列、中段SAS磁盘阵列、磁带存储,但是自从出现了SSD之后,分层存储的架构发生了巨大变化,最上面一层从过去的高速机械硬盘阵列变成了SSD层,所以SSD成了0层。
下图显示了4层分层存储的分类,可见从0层到3层,性能、单位成本和数据重要性逐渐下降,容量不断提升。
功耗:
1) 磁带是几乎不耗电,有读写才通电。不同于Google等公司,Facebook采用了蓝光DVD来保存存档数据。
2) SSD不需要动态刷新,所以耗电很低。
3) 机械硬盘机械运动耗电很大。
数据分类
0层,3%:I/O密集型数据
是最需要快速读写的数据。
• 高性能操作系统文件
• HPC 应用
• 某些高性能数据库
• 索引、日志、卷文件、目录 (directory) 、目录 (catalogue)
• 数据库加速
• 要求最高 I/O 性能的任何数据
1层,12-20%:任务关键性数据
是企业业务中最有价值的数据。
• Oracle/MySQL 和任务关键型数据库
• 预订系统
• 虚拟机
• 电子邮件(某些企业中)
• 联机事务处理 (OLTP)
2层,20-25%:重要和敏感数据
当前的重要数据。
• 业务关键型应用
• Oracle/MySQL 数据库
• Web 服务器和应用
• 数据保护 — 备份、恢复数据、安全系统
• 图像捕获和检索
• 应用开发和测试
• 事务性负载
• 数据仓储、 ERP、参考数据
• 云存储
3层,43%-60%:存档数据
主要是历史数据的存档和备份。
• 长期数据保存、存档和备份
• 电子邮件归档
• 合规性、病历和影像以及法律数据
• 非结构化、基于文件的数据、文档
• 科学数据
• 视频存档、电影、音频、博客、照片
• Wiki、协作、社交网络、 Web 2.0。 SOA 和云存储
• 业务持续
• 视频监控和安保系统的历史记录和存档
• 异地介质存储、远程数据仓库
平均售价(ASP)
如下图,注意是2010年的价格,现在企业级SSD 1GB一般在3美金左右。
通过平均售价,给出100TB容量的三种方案:
1) 两层机械硬盘;76.5万美金。
2) 三层:加上磁带;35.9万美金。
3) 四层:加上SSD;48.2万美金。
可以看出,总体的思路就是尽量少用贵的,多用便宜的,尤其是存储量的大头用便宜的,就可以最大程度节省成本。
Oracle的SAM-QFS系统
收购了Sun之后,Oracle打通了分层存储的各个层次,业界领先的StorageTek 自动磁带解决方案系列、Sun Storage Archive Manager (SAM)和Sun QFS 软件(快速文件系统)。 SAM-QFS 共同在开放系统环境中提供基于策略的分层存储管理和共享文件访问,能够自动分层。SAM-QFS软件提供了具有存储、归档管理及恢复功能的可配置文件系统,通过将文件从联机磁盘高速缓存复制到归档介质对文件进行归档。
来看看Oracle整合了Sun之后鼓捣出的分层存储架构。Sun是一家成功的技术公司,为人类贡献了无数先进的技术,如Java、OpenSparc、ZFS等。现在的全闪存阵列设计架构处处可以看到ZFS的身影,有RAIDZ、数据去重、Copy-on-Write、Read Scrub、Cache、压缩、快照等和SSD几乎相同的特性,可以说开源后的ZFS改一下底层,就能作为一个全闪存阵列的系统。但是他们的高管经营能力确实一般,最后被Oracle这家营销能力一流的公司收罗了。
引用: