百度的数据中心可存储数以百计的千兆数据,每天的数据处理量可达到几十个千兆字节。随着存储系统的性能要求越来越高,百度发现,硬盘和传统的SSD变得越来越不适用。SDF则是百度公司提高数据中心性能而采取的最新举措。
像SDF这样全新的基于闪存的存储架构不能使用传统的SSD控制器ASSP,因此,开发团队自主研发了SDF架构,并基于Xilinx Virtex-5和Spartan-6 FPGA建立了一个 PCIe SDF开发板,如下图所示:
百度SDF控制器架构
Virtex-5 FPGA应用了SDF的PCIe DMA和接口,在FPGA中进行芯片对芯片的桥接,并且其还是四个Spartan-6 FPGA的主控器。每个开发板有44个通道,而每个Spartan-6 FPGA可以实现其中11个独立闪存转换层(FTL)控制通道。每个闪存通道可控制两个Micron 8Gbyte MLC闪存芯片,因此每个SDF开发板的总容量有704Gbyte。
设计团队为降低开发板成本做出了很大的努力,为适用于通用的存储和不同的工作负载,在其设计中融合了与商用SSD截然不同的特性。例如,SDF主要作为很少访问的硬盘缓存和数据使用,不会在缓存中驻留太长时间,因此SDF不能进行静态平均读写。
此外,SDF硬件不包括DRAM缓存,而传统的SSD为缩短数据访问时间通常包含大量的DRAM缓存。数据驻留在DRAM缓存中时,供电故障可能会影响数据的一致性,因此缓存控制器的设计中必须包含一个电池或电容,使其可以度过断电期或允许一段时间的断电,以防止数据损失。然而,电池和电容却增加了硬件成本。在百度的存储基础设施中,服务器主机内存可以缓存最近访问的数据,因此SDF设计排除了DRAM缓存,高速缓存存储器的相关成本也由此降低。
百度的研发人员为SDF设计进行了大量的基准测试,本文进行了详细论述。总结如下:
“试验测量表明,SDF可提供95%的原始闪存带宽和99%的用户数据闪存容量。SDF增加了3倍I/O带宽,且相比百度的商用SSD系统,SDF平均降低了50%的每节次比硬件成本。”
原文链接:http://forums.xilinx.com/t5/Xcell-Daily-Blog/Baidu-s-Software-Defined-Fl...
© Copyright 2014 Xilinx Inc
如需转载,请注明出处