文|中国工商银行金融科技研究院区块链研究团队

摘 要：随着区块链应用场景及节点规模的持续扩展，其原生链上的存储机制受限于数据结构、架构设计等原因，已愈发难以满足大文件爆发式增长的存储需求。为此，工商银行在深入研究区块链存储扩容技术的基础上，针对工银玺链原生链架构开展优化设计，创新打造链上链下协同的存储体系，实现工银玺链技术平台存储能力的代际升级，更好地支撑了区块链技术的规模化应用落地。

关键词：区块链;存储扩容;链上链下协同存储体系

  近年来，区块链作为一种增强信任的基础性技术， 在供应链金融、贸易金融等领域发挥着越来越重要的作用，实现了不同机构间信息流、资金流、物流的高效、可信流转。然而，随着区块链应用场景及节点规模的持续扩展，其原生链上的存储机制受限于数据结构、架构设计等原因，已愈发难以满足图片、音频等非结构化大文件爆发式增长的存储需求，甚至阻碍了区块链技术的进一步推广和应用。

  针对该领域，工商银行基于具备自主知识产权、全栈安全可控的工银玺链技术平台，吸收借鉴业界先进的区块链链下扩容技术，探索构建链上链下协同的新型区块链存储体系，不仅为业务发展提供了高效存取、安全可信、便捷易用的在线存储服务，同时也实现了工银玺链技术平台存储能力的代际升级，可更好支撑区块链技术的规模化应用落地。

一、区块链链上存储扩容面临的挑战

  区块链原生存储主要以链上存储为主，其特点是去中心化、不可篡改和透明性，这些特点使区块链成为一种公认的可信技术，但也为其存储非结构化大文件带来了巨大挑战。一方面，由于区块链的去中心化特性，大容量原始文件需存储于链上的每个节点，易导致存储资源的极大浪费。另一方面，区块链主要通过共识算法、链式存储结构来保障不可篡改的特性，但在复杂且庞大文件分片1

  的数据处理场景下，容易引起内存资源的急剧消耗，进而影响整体服务性能。从业界探索来看，早期曾有方案尝试通过改进区块链的基本结构、模型和算法，以使其满足非结构化大文件的存储需求，但单纯进行链上扩容的优化效果有限。

  中国工程院发布的《中国区块链发展研究》指出，链下存储扩容技术目前已成为区块链存储发展的主流趋势，其通过分散式存储扩容技术可将非结构化大文件拆分、存储在分布式网络中的多个节点，从根本上解决链上存储瓶颈。但是，链下存储扩容技术目前尚处于起步阶段，仍需解决大容量文件高效存取、身份权限验证以及链上链下协同等一系列难题。

二、工商银行区块链存储架构提升思路

  工商银行充分吸收业界最新的研究成果，基于原有的区块链链上存储架构，创新打造链上链下协同的存储体系，通过研究和运用星际文件系统、分布式哈希索引、可验证梅克尔树等一系列新技术，攻克链下存储扩容技术的诸多难点，实现区块链存储体系在存储容量、存取效率、安全可信、接入易用性等方面的全方位提升。

  1. 存储容量扩展

  工商银行将分散式存储技术用于区块链链下存储扩容，使用点对点通信协议将数据分散存储至多个节点，并通过原生星际文件系统支持数据的跨地域同步，有力支撑了链下存储的容量扩展。同时，为解决多副本策略在存储节点增多时存在的带宽占用高、存储成本增长等棘手问题，工商银行引入纠删码机制，以更小的数据冗余度实现高可用容灾和数据均衡分布，大幅降低了数据链下存储的成本。

  2. 存取效率提升

  为解决因共识算法、链式存储、分布式账本等技术叠加使用导致的大文件存取效率低等痛点问题，工商银行在引入分散式存储技术的基础上，综合运用文件分块、分布式哈希索引、传输同步等技术，实现文件高效上传;同时，通过多地多中心跨域部署链下存储节点，利用其多源传输、临近访问等技术特性，支持用户基于P2P 网络从多个临近节点并发获取所需文件，从而有效减少主干网带宽占用，大幅提升了文件下载效率。分散式存储多源传输技术如图1 所示。

图1 分散式存储多源传输技术示意

  3. 安全可信增强

  为确保链下存储的安全可信，工商银行在原有点对点通信、分布式哈希、加密算法、智能合约等技术的基础上，进一步探索了一系列增强方案：一是将非结构化文件存储在区块链之外的分布式哈希表结构存储网络，使文件数据在整个分布式网络上均能被有效定位和访问;二是利用智能合约计算非结构化数据文件的可验证梅克尔树或者真实存储证明，并通过共识算法完成上链存证，切实保障数据存储的安全性;三是通过分布式账本技术，结合链上记录与链下数据文件，确保存储透明度，并支持多方安全审计。此外，工商银行还对链上链下身份认证、权限控制、数据加密等技术开展了研究与应用，综合运用区块链原生技术能力，结合链下分散式存储的去中心化特性，打造了面向多机构的链上链下协同安全可信存储体系(如图2 所示)。

图2 工商银行链上链下协同安全可信存储体系示意

  4. 接入易用性提升

  为提升链下分散式存储的接入易用性，工商银行采用业界主流的S3 存储协议，构建链上链下存储网关以屏蔽不同的存储技术栈之间的差异，实现链下分散式存储与行内已有存储体系的有效融合(如图3 所示)。链上链下存储网关主要包括S3 网关路由、对象存储层和第三方存储SDK 等三个模块。其中，S3 网关路由可实现从HTTP 协议到S3 协议的自动转换，使用户无需改造现有协议即可完成存储访问;对象存储层提供了上传文件可靠存储机制，可自动完成非结构化文件的分散式链下存储与相关元数据的链上存储;第三方存储SDK 通过提供分散式存储、文件共享SDK 以及区块链SDK，可降低普通应用的对接改造成本。

图3 工商银行链上链下存储体系分层架构示意

三、工商银行区块链存储扩容应用场景

  1. 跨地域应用场景

  区块链链上链下存储体系通过多地部署存储节点， 可更好地发挥多源传输、临近访问等技术特性。工商银行在国内各地拥有大量的分支机构，主要通过软件仓库为各地分支机构提供办公及研发环境下的常用软件下载服务，存在大文件上传下载慢、集中式单点故障多等痛点。

  为解决上述难题，工商银行在软件仓库底层架构上创新采用区块链链上链下可信协同存储解决方案，并在多地部署区块链链下存储节点，利用分散式P2P 点对点技术，实现了软件介质的跨广域网P2P 数据快速同步和传输。经投产验证，与原有存储模式相比，大文件上传平均耗时缩短30%、下载耗时缩短50%，主干网带宽、存储等成本节约了50% 左右。

  在跨地域类应用场景中，区块链链上链下存储体系充分发挥分散存储、多源传输、临近访问等技术特性，较好地满足了跨地域大文件传输需求，为区块链技术在跨地域分享数据业务场景的规模化应用提供了可行方案。

  2. 跨机构应用场景

  在招投标等跨机构场景中，如何在供应商与招标人之间建立互信关系，保证供应商的报价文件从投标开始直至开标过程中未被篡改，一直是线上招投标的难点问题。

  对此，工商银行在内部集采系统中使用区块链链上链下存储体系，为各机构部署区块链链下存储节点，并在链下使用梅克尔树存储结构，在链上使用数字指纹寻址、分布式数字身份等技术，实现了报价文件在机构间的快速共享，有效解决了多机构联合存储的信任问题和数据篡改问题，并支持对全流程关键业务数据进行审核和监管。目前，上述方案已支撑内部集采系统存储了100 余份招投标文件，累计为16 个项目、43 家供应商提供服务。

  在跨机构类应用场景中，区块链链上链下存储体系充分发挥不可篡改、高效检索等技术特性，攻克多机构间文件数据安全、可信共享等难题，使得区块链技术较好地满足了此类场景的规模化应用需求。

  3. 链上链下协同应用场景

  数字藏品是区块链技术的典型应用场景之一，在对客服务中引入该场景不仅可以提升品牌吸引力，促进各产品线的拓客、引流，也有助于实现品牌的可持续发展。然而，数字藏品场景在登记、发行以及领取等阶段均需同时存储和处理大量的非结构化文件与结构化业务数据。

  对此，工商银行面向数字藏品场景使用了链上链下数据协同存储方案，即在链下使用分散式存储实现大量非结构化文件的可靠存储，在链上使用原生链式结构存储相关业务数据，同时使用区块链NFT 技术锁定链下、链上数据的对应关系，并以此作为数字藏品的所有权证明，有效实现链上链下交易数据的不可篡改与一致性， 保证了数字资产交易的公平透明。截至目前，链上链下数据协同存储技术已覆盖工商银行5 个总行部门及12 家分行，在手机银行数字藏品馆与任务中心、绿色勋章渠道联动开展了大规模推广应用，月均月活数超过80 万，峰值月活数达180 万，累计开展50 余场活动、发放350 万份数字藏品，持有藏品客户超160 万户。

  在链上链下协同类应用场景中，区块链链上链下存储体系通过自适应分类存储、一致性协同、防篡改等技术特性，提供结构化、非结构化数据的高效存储能力，较好地满足了此类场景的规模化应用需求。

四、结论和展望

  随着我国数字经济发展向纵深推进，全社会对共享共建金融生态的需求愈发强烈，各类业务场景迎来越来越多的非结构化文件共享流转和验真需求。在此背景下，工商银行攻克区块链存储扩容难点，创新打造可扩展存储容量、支持数据高效存取、安全可信机制健全、接入方式便捷易用的新一代区块链存储架构体系，在跨机构、跨地域应用乃至链上链下协同等场景中发挥了重要作用。

  未来，工商银行将继续以需求为导向，着重从完善链上链下存储数据生命周期管理、升级加固安全防控能力等方面开展创新探索，持续推动区块链技术在金融领域的规模化应用，力争为发展新质生产力贡献更多工行力量。

参考文献：

  [1] 中国工程院“中国区块链发展战略研究”项目. 中国区块链发展研究[M]. 杭州：浙江大学出版社,2023.