“该参考架构通过将计算基础设施减少四分之一，为 Filecoin 网络存储提供商实现了显著的改进。”
2024 年 7 月 9 日——去中心化存储联盟 (DSA) 自豪地宣布发布 Filecoin 网络的存储参考架构，该架构为网络存储提供商带来了重大改进。
这种创新架构利用 Seagate Exos CORVAULT 技术与 OpenZFS 相结合，将计算基础设施减少四倍或更多，同时提高数据完整性和网络弹性。这些改进还使所有当前和未来的商业级存储负载更具经济可行性。
该参考架构由 Seagate、Web3Mine 和 Klara Inc. 的存储专家团队创建，并在他们最近发布的白皮书《扩展 Filecoin 以适应商业级负载：在 OpenZFS 上使用 Seagate Exos CORVAULT 技术》中有详细介绍。
去中心化存储联盟 (DSA) 汇聚了技术行业领导者，通过参考架构、标准、教育、宣传和最佳实践，帮助企业过渡到去中心化存储技术。这项工作是 DSA 计划的一部分，旨在为存储提供商提供改进的解决方案，以提高存储性能，并实现资源效率和成本的最大化。
存储参考架构概述
Filecoin 存储是一种结构良好的存储格式，这是零知识加密算法的结果，该算法支撑了其跨空间和时间的唯一复制的不可变证明。此功能允许以经济高效且高性能的方式在网络节点之间实现全球分布、可验证、加密唯一的副本。但是，可以使用现有文件系统与高级存储硬件相结合来进行改进，以获得更高的性能和弹性。
Zetabyte 文件系统 (ZFS) 的独特之处在于它拥有 20 年的历史，证明了能够有效地扩展到数十 PB 的直接连接存储解决方案。将 OpenZFS 协议与 Exos CORVAULT 的超大无缺陷 SAN 类卷相结合，为去中心化存储生态系统提供了一个独特的机会，可以将计算基础设施减少四倍或更多，同时提高流程的弹性。这种组合将降低 Filecoin 网络中存储提供商的成本，并适应现有 web2 应用程序和未来 AI 或 web3 数据负载的商业级存储负载。
参考架构亮点
希捷 Exos CORVAULT
Seagate 平台的 CORVAULT 系列融合了从 OpenZFS、CEPH 和 Lustre 等软件定义存储平台中学到的某些关键理念，并结合了 Seagate 对单个硬盘最佳运行特性的独特见解。因此，Exos CORVAULT 平台具有独特的优势，可用作大规模直连磁盘阵列的计算卸载引擎。
该平台将经过验证的最佳软件定义存储算法与 Seagate 固有的硬盘领域专业知识相结合，以第三方无法通过通用设备模型实现的方式最大限度地提高使用寿命和性能。由于所有磁盘聚合和管理都是在硬件中完成的，因此主机不再受其可以管理的磁盘数量的限制，并且仍可执行有用的工作。Exos CORVAULT 平台通过在机箱控制器级别执行磁盘聚合、缺陷管理和缓存管理来解决扩展问题，而不是依赖于其他解决方案中的主机计算和 IO 资源。结果输出是以非常大的块卷形式存储的。这种方法的好处是每 PB 的计算资源大大减少，IO 互连的复杂性也大大降低。
OpenZFS
OpenZFS 是一种先进的开源文件系统和卷管理器技术，旨在管理和保护大量数据。它起源于 ZFS（Zettabyte 文件系统）项目，该项目最初由Sun Microsystems 开发，后来由 Oracle 开源。OpenZFS 是作为一项社区驱动的努力而创建的，旨在继续独立于 Oracle 开发和改进 ZFS。
OpenZFS 凭借其强大的功能和能力，在企业和商业级环境中的应用越来越广泛。特别值得注意的是，它可以满足大型本地数据基础设施的特定存储需求和数据完整性要求。如今，您会发现它用于实现从大多数 SMB NAS 系统到世界上最大的高性能超级计算机 Lustre 文件系统的后备存储等所有应用。
为什么 OpenZFS 已成为 Filecoin 网络的默认文件系统
出于上述原因，OpenZFS 已迅速成为 Filecoin 网络的默认文件系统。OpenZFS 文件系统首先确保端到端数据完整性。CRC 校验和用于检测从存储子系统到主机内存的数据的每个 IO 操作中的静默数据损坏。OpenZFS 的演进也晚于大多数传统 RAID 拓扑，因此许多先前的解决方案（它们有望成为解决最大数据挑战的答案）并未充分利用 ZFS 功能。
OpenZFS 在实现直接连接存储的这一承诺方面取得了长足进步。OpenZFS 可以提供大多数传统 RAID 系统的功能，但方式不受传统 RAID 配置的固定拓扑的约束。一个例子是能够检测静默数据损坏并静默执行在线数据修复。另一个是为存储架构师提供构建负载平衡 IOP 的 VDEV 条带的能力。
白皮书概述和实施说明
该参考架构由 Seagate、Web3Mine 和 Klara Inc. 的存储专家团队创建，并在他们最近发布的白皮书《扩展 Filecoin 以适应商业级负载：在 OpenZFS 上使用 Seagate Exos CORVAULT 技术》中有详细介绍。
白皮书重点介绍与 Filecoin 网络兼容的高性能存储阵列。请注意，它没有提供有关 FIlecoin 节点服务器基础设施的具体建议。
所使用的节点架构作为一种机制来记录性能指标并展示这种先进存储配置的效率和改进。
存储提供商应根据 Filecoin 计算架构的最新状态及其特定业务需求来实现其 Filecoin 节点服务器。
