专家博客：针对大型归档的灾难恢复规划

  灾难恢复(DR)从广义上来说是经常被存储界讨论的一个话题，不过在这篇文章中，我打算探讨整个市场中的其中一个细分市场：针对大型归档的灾难恢复规划。

  首先，我对归档的定义是什么？什么是大型归档？归档就是被保存信息的目录，只不过这些信息中的大部分信息的访问频率很低。

  归档的定义近来有些变化。就在三四年前，归档的存储介质一直都还是磁带，只配有小型磁盘高速缓存(通常只占总容量的5%以下)。管理磁带和/或磁盘的软件被称为分级存储管理(HSM)，而且这种软件是从35年前的大型机上发展而来的。

  如今，我们的许多归档已经存储在磁盘上，而且我们在网络上备份数据。例如，我的工作用个人电脑和家用个人电脑都通过互联网进行备份，而基于云的归档如今也很常见。这当然会引发可靠性方面的质疑，不过这又是另一个话题了。

  我对大型归档的定义很简单：任何超过2000个SATA磁盘驱动器的归档。现在，这个数量相当于4PB，随着磁盘容量的增长，明年可能将相当于8PB。考虑到2000个驱动器的预期故障率，我将2000个驱动器作为大型归档的大小标准。即使2400个驱动器的RAID-6设置上，鉴于为单个应用程序管理这么多驱动器所需要的重建时间，这也是一个难度很大的系统。

  三种灾难类型

  我们有三种灾难需要考虑：单个文件或几组文件的故障、元数据损坏以及我经常说的"喷洒器错误"。

  计算机室的喷洒器坏掉可能会破坏所有的设备，而单个文件或一组文件的故障与之相比则是完全不同的问题。一个文件或几组文件的故障的发生概率更高，而且比起全面性的灾难(地震、飓风、闪电电击、供电功率骤增、喷洒器坏掉等)更加普遍。不过，当我设计系统架构的时候，我会保证数据随时至少有两个副本。在大型归档中，鉴于重新复制数据所需要的时间以及考虑到灾难发生后存储系统的数据完整性，两个副本可能还不够。

  元数据损坏问题的发生概率不高，不过它确实可能发生，而且发生的概率比许多人想象的要高。元数据损坏可能是文件系统元数据的损坏，或者，如果有使用重复数据删除的话，数据块中某个块的损坏(如果没有得到很好的保护将是个灾难)。

  当然，在设计数据保护水平的时候，成本是一个很大的因素。许多厂商宣称有99%、99.999%甚至99.999999%的可用性和可靠性。但是，当你需要保存PB级数据的时候，这种可靠性的概念需要重新考虑。

  下图显示了在不同可靠性下的预期数据损失。

  在99.99999999%(10个9)的可靠性下，即使只有1PB的数据，仍然有900,720字节的数据预期会损失掉。因此，在大型归档中需要重新考虑可靠性。在一些数据保存环境中，数据损失是不可接受的。我经常在这种类型的环境(比如一个组织从模拟数据迁移到数字数据)中看到一些管理员没有理解在数字媒体上的数据并不是100%可靠的，而且在数字媒介中保存多个数据副本所花费的金钱要超过在书架上保存书籍的成本--考虑到数据必须迁移到新的媒介而且如果数据副本数量不够多的话还不是100%可靠的。

  对磁盘和磁带归档的建议

  对于大型归档，我的数据保护策略和流程建议如下。除了注明的地方外，这些策略和流程都适用于磁盘归档和磁带归档。

  数据应该同步复制到潜在灾难区域以外的另一个地方。例如，如果你所在的地区可能有龙卷风，那么你的另一个复制地点应该至少在100英里以外--最好是在500英里以外--大部分龙卷风的行进路线是东西向的，因此你的复制地点应该在你的北面或南面。

  用更多的ECC(错误检查纠正)或可用的校验和来验证数据。大多数HSM系统在磁带上有文件校验和，不过在磁盘上就没有这种校验和了。一些技术，比如针对磁盘和磁带的T10 DIF/PI，将在今年推出。许多厂商已经在致力于端到端的数据完整性技术。按文件的校验和已经开始成为文件系统社群的一个普遍话题，但是校验和本身并不能纠正数据，它只是告诉你这个文件是否已经损坏。如果你想知道文件的哪里坏了，你需要文件中的ECC来检测错误点，并希望利用ECC来纠正错误。

  如果是基于磁盘的归档，所有的RAID(独立磁盘冗余阵列)设备都应该有"读取时校验码检验"。一些RAID控制器支持这个，不过也有一些不支持。一些RAID阵列支持这个功能不过会导致明显的性能下降。比起只有文件校验和，这个功能提供了另一层完整性，在一些情况下尤其有用，比如当存储系统内部的一些故障问题导致校验和失效的时候。读取时校验码检验功能确保RAID控制器发现损坏的数据块，避免导致整个文件的损坏。

  如果是基于磁带的归档，重要的是数据不要直接迁移到磁带，而是先迁移到磁盘然后再通过HSM迁移到磁带。这里，RAID设备必须有读取时校验码检验功能。

  确保硬件进行过全面的软错误和硬错误检测。软错误最终会导致硬错误和数据损坏。管理员应该在软错误变成应错误前快速地处理软错误。对于磁带来说，这也是一个很重要的问题，因为磁带还没有自我监视、分析和报告技术(SMART)标准。

  如果可以，定期保护和备份文件系统的元数据以及针对磁带数据的HSM元数据，因为元数据在故障后不必恢复所有数据就可以恢复。如果元数据和数据本身在文件系统里是分开的，那么这个流程的效果更好而且也更容易。

  定期验证文件校验和。对于大型归档来说，鉴于CPU、记忆体和I/O带宽的要求，这是一个很大的架构问题。

  磁盘归档和磁带归档的灾难恢复规划差不多是一样的。一些技术可能有不同，但是关键点是一样的，就是定期做验证，准备好应对可能到来的灾难。有太多的单位没有在大型归档上进行适当的投资并且同时还做梦不会有数据丢失发生。如果你有50PB的归档，只有一个复制站点并因为灾难而丢失了归档，那么你几乎肯定会在重新复制站点的时候丢失数据。存储媒介上的硬错误是没办法完全避开的。