Flash在Facebook的使用

原创内容,转载请注明:  [http://www.ssdfans.com]  谢谢!

想要和阿呆还有全世界的大牛讨论SSD及存储相关技术?加nanoarch为微信好友,拉你进ssdfans微信群

 
 

Facebook的基础架构


截止20136月,Facebook11.5亿用户,7亿人每天登陆。

截止20135月,每天新增45亿条赞、发帖和评论。

截止20131月,每天新增3.5亿张照片,总共有2400亿张,假如1MB一张,总共有240PB,需要24万块1TB的硬盘。相比文字,看来还是图片最耗存储资源和网络带宽。

2012年投资12.4亿美金用来买IT基础设备和建设Data Center,高效工作一直是第一优先级。机房一瞥。


Facebook的基础架构如下图。


什么是Rack

RackFacebook容量的单位,一共40serverAggregator集中了大部分计算资源CPULeaf集中了大部分存储资源:DRAMRack里有大量的网络带宽,从图中可以看出,AL带之间是互联的。


下图为一个用户请求的响应过程,从前端到后端。


Facebook5serverWeb前端要求很强的计算能力,Database、图片Server对硬盘的IOPS要求很高,Hadoop并行计算要求计算能力和IOPS高,Feed是推荐显示在页面的内容(新鲜事),要求高性能CPU和大容量DRAM,这个是实时产生的数据,所以放在DRAM里面。每小时都会有新增的Server加入进来。

PCIe Flash存储卡用来存储新鲜事和搜索的索引数据。


FlashFacebook的使用

数据库:使用FlashCache缓存和Flash硬盘。

如下图,数据库已经都用Flash来保存数据了,缩短了延迟,增加容量,加快用户响应。


索引服务器:使用Flash替代DRAM存储索引数据。如下图,第6server使用了Flash1台叶子server保存2周的索引数据。


Cold Flash

尽管SSDFlash厂商致力于制造高速、寿命长的Flash,但是Facebook也需要低速、短寿命的FlashWORMWrite once Read many)技术能够提供便宜而且容量大的Flash

如下图,FacebookKnox rack能够给不常使用的磁盘(Cold Storage)断电,所以功耗比较低,但是可以看出,使用SSDRack也很省电。


Facebook渴望能造出最差的Flash

这样就能更便宜,容量更大。这种情况下,写得慢,寿命短,IOPS低都可以接受。其实Facebook就是想找个HDD的替代品,因为HDD工作时还是挺耗电的。

分类目录 国外动态, 行业动态.
扫一扫二维码或者微信搜索公众号ssdfans关注(添加朋友->点最下面的公众号->搜索ssdfans),可以经常看到SSD技术和产业的文章(SSD Fans只推送干货)。
ssdfans微信群介绍
技术讨论群 覆盖2000多位中国和世界华人圈SSD以及存储技术精英
固件、软件、测试群 固件、软件和测试技术讨论
异构计算群 讨论人工智能和GPU、FPGA、CPU异构计算
ASIC-FPGA群 芯片和FPGA硬件技术讨论群
闪存器件群 NAND、3D XPoint等固态存储介质技术讨论
企业级 企业级SSD、企业级存储
销售群 全国SSD供应商都在这里,砍砍价,会比某东便宜20%
工作求职群 存储行业换工作,发招聘,要关注各大公司招聘信息,赶快来
高管群 各大SSD相关存储公司高管和创始人、投资人

想加入这些群,请微信扫描下面二维码,或搜索nanoarchplus,加阿呆为微信好友,介绍你的昵称-单位-职务,注明群名,拉你进群。SSD业界需要什么帮助,也可以找阿呆聊。