改变数据中心格局 Facebook服务器方案解读

  30TB的可拉出磁盘阵列

  Facebook应用的磁盘存储需求——至少是那些相对较低的输入和输出需求，比如说Facebook的“Haystack”照片存储系统——是由Open Vault磁盘阵列负责满足的。在Facebook内部，Open Vault磁盘阵列的代号名为“Knox”。Open Vault是一种“布满硬盘驱动器的托盘格式”，考德里说道。“当你进行高密度存储时——正如你们所想象的那样，我们有很多东西需要存储——你会很想去做的事情就是填满整个封闭空间。”

  而Open Vault就是这样做的，它的封闭空间中排满了30个硬盘驱动器，分成两个可拉出的单位，每个单位中各有15个硬盘驱动器。“硬盘驱动器的耗电量不大，散发的热量也不算多。”考德里解释道。“你不会觉得电不够用或是需要首先考虑冷却的问题，而是会面临空间不足的问题。因此我们设计了某种东西，尽可能地减少冗余结构，从而在最大程度上利用机架的容量。”

  每个硬盘驱动器都可热插拔。此外，Open Vault磁盘阵列的硬盘托盘安装有铰链和摩擦弹簧。“如果你把这个Open Vault磁盘阵列放在机架顶上，那么在这种托盘配置下，想要拿到后面的硬盘驱动器就很难了。”考德里说道。但安装在硬盘托盘上的铰链和摩擦弹簧则能让整个托盘都被拉出来，而在拉出来的同时，硬盘仍旧还在运行。考德里称，这种铰链已经让Facebook存储设备的可维修性有了很大不同。

  就目前而言，Facebook的存储托盘都通过Serial Attached SCSI界面与服务器连接到一起，这意味着它们需要通过一个PCI适配器与一个计算节点联系起来。但是，Facebook正致力于让所有存储设备都能通过网络存取，从而进一步降低布线的复杂性——而不是通过使用ISCSI等存储区域网络协议的方法来做到这一点。

  “我们想要做的事情是把一个微型服务器放在存储节点上，并通过10Gb以太网连接起来，然后放弃复杂的节点到节点布线方法。”考德里说道。“这样一来，所有节点都拥有一个以太网连接单元接口，没有别的东西。”通过这种方法，计算节点就能被释放出来，而不必驱动磁盘I/O。

  在推进闪存和大型内存中存储sled向前发展的问题上，Facebook也采取了类似的方法，也就是以计算节点为基础，通过网络为应用提供低延迟的访问路径。“我们的大多数固态存储都是以PCI为基础的，因此我们就将其放在计算节点上。”考德里说道。“计算sled中有一个PCI转接卡，因此你能在其中插入一些PCI Express卡。我们发现，在一个磁盘界面上放置闪存是一种技术上的错误搭配，无法充分利用其速度。”

  Facebook的数据需求倾向于靠近输入输出范围的极端，Haystack(照片存储系统)等系统的数据要求十分庞大，但相对于所需要的存储总量而言，其输入和输出水平比较低。“这些东西在运转中的磁盘上也能运行得很好。”考德里说道。“有些东西在固态存储系统上也能很好的运行，每TB的I/O操作水平很高。”