分片技术探索:从以太坊到 Shardeum 的革新之路

2022年9月15日,以太坊完成了备受瞩目的合并(Merge)。这次升级将以太坊从工作量证明(PoW)转变为权益证明(PoS)机制,但并未直接带来更高的可扩展性、安全性和可持续性。实现这些目标需要更全面的解决方案,包括具备分片能力的主网以及增强可扩展性的Layer2方案。

分片是一种在可扩展性三难困境下的扩容解决方案。它将网络中的节点分成更小的组,处理不同的事务集并实现并行处理。通过分担处理整个网络数据的负担,分片可以提高处理效率,类似于商店增加收银通道以减少排队时间。

虽然分片的原理简单直接,但在实施过程中仍面临诸多挑战。本文将梳理分片技术的发展方向和困境,绘制一张分片探索者的路线图。同时通过比较现有的分片解决方案,找出共性问题,并提出一种新的探索方向:Shardeum与动态分片。

关于"分片"

从以太坊作为坐标原点出发,我们可以将区块链的扩展性方法分为两大类:

纵向扩容(Vertical Scaling): 通过提高系统现有硬件性能来实现。这种方式简单有效,适用于对延迟敏感的场景,但会限制网络去中心化程度。

横向扩容(Horizontal Scaling): 主要有三种思路:

1. 将交易计算量分散到多个独立区块链上
2. 模块化区块链,将基础架构划分为执行层、数据可用性层和共识层
3. 将一条区块链分成多个分片并行执行

这些扩容思路并非孤立存在,每种解决方案都在不可能三角中寻求平衡,配合经济激励机制设计,以达到宏观和微观层面的有效平衡。

为讨论"分片",我们需要从头梳理几个关键问题:

1. 如何确定全网节点/验证者属于哪个分片?即网络分片(Network Sharding)
2. 如何确定每笔交易分配给哪个分片?即交易分片(Transaction Sharding)
3. 区块链资料如何在不同分片中储存?即状态分片(State Sharding)
4. 如何避免整个系统安全性的分裂?

网络分片(Network Sharding)

网络分片是指将区块链网络分片,让各个分片处理链上交易并争夺记账权。主要挑战是,随着节点被划分到不同分片,攻击者的难度和成本会大幅降低。

解决方案通常是构建一定程度的无偏随机性,将攻击者的成功概率降到最低。例如以太坊每6.4分钟随机选出某个分片的验证者并进行轮换。

然而,区块链中的随机性本身就是一个具有挑战性的话题。许多现有设计都开发了单独的链来维护整个网络,如以太坊和Near的Beacon链,PolkaDot的Relay链,Cosmos的Cosmos Hub。

交易分片(Transaction Sharding)

交易分片是指制定规则决定将交易分配到哪些分片。区块链的账本模型会影响交易分片的开发。

目前存在两类主要记账方式:

UTXO模型: 典型代表是比特币。在UTXO模型下,交易分片需要跨分片通信。一种可能的方式是使用哈希函数将交易分配到不同分片。

账户/余额模型: 代表如以太坊。只要将交易按发送者地址进行分片,就可以保证同一账户的多笔交易在同一分片中处理,有效防止双花。因此,大多数采用分片技术的区块链都采用账户账本系统。

状态分片(State Sharding)

状态分片指区块链资料如何分配在不同分片中储存。这是分片技术最大的难题,因为在分片机制下,交易会根据地址分配在不同分片处理,状态只会储存在其地址所在的分片中。

主要挑战是处理跨分片(Cross-Sharding)交易。例如,A账户转账给B账户,而两个账户位于不同分片。这种情况下需要跨分片通信,可能降低交易处理效率。

有两种主要思路解决这个问题:

同步跨分片(Synchronous): 也称紧耦合(Tight Coupling)。每当执行跨分片交易时,相关块同时发生,各分片节点协作执行交易。

异步跨分片(Asynchronous): 也称松耦合(Loosely Coupling)。这种方式应用更广泛,如NEAR、以太坊、Cosmos、Kadena等。最大挑战是确保交易的原子性。

分片的探索与尝试

我们将回顾几个知名公链的分片技术解决方案,以此探讨Shardeum的创新性。

计算分片

Zilliqa是最早尝试分片的智能合约平台之一。它采用计算分片的方式,将验证交易的工作划分到不同分片。但由于每个节点仍接收所有交易并更新所有账户状态,网络带宽和存储操作仍是瓶颈。

静态状态分片

更为通用的分片方法是将账户地址空间划分为固定大小的分片,并将节点分配给不同分片。Near、Elrond和Harmony等平台采用这种方法。

以太坊的数据分片构想

以太坊计划实施数据分片以增加可用性。一种方案是基于"数据可用性"的分片,使用"数据可用性抽样"确认所有数据是否可用。另一种方案是为每个分片添加额外功能,使其更像当前的以太坊主网。

Harmony

Harmony采用标准的分片方法,拥有一个信标链协调多个分片。它使用有效权益证明(EPoS)机制和安全的随机分片技术,将大户质押的代币分散到多个分片,防止单一分片被攻击。

Elrond

Elrond采用自适应状态分片,动态调整分片数量。它使用安全的权益证明共识机制,并通过元链(Meta Chain)实现快速的跨分片交易确定性。

Near

Near提出了夜影协议(Nightshade),将系统建模为单一区块链,在块级别进行分片。它没有分片链,而是所有区块生产者和验证者都在构建一个主链。

Shardeum与动态状态分片

Shardeum提出了两种新颖的解决方式来应对现有分片技术的局限性:

交易级共识

Shardeum结合法定人数证明(PoQ)和权益证明(PoS),在交易级别而非块级别完成共识。这允许跨分片同时处理交易,消除了确保原子处理所需的复杂性。

线性扩展

Shardeum使用动态状态分片,允许每个节点持有不同且重叠的地址范围。这种方法复杂度更高,但实现了真正的线性扩展。

Shardeum目前拥有10个分片,每个分片128个节点,共1280个节点。2022年第四季度,主网预计上线。在测试网Liberty 2.0上,Shardeum已展示了100TPS的能力。

结语

真正的分片和可扩展区块链需要从头开始构建,同样,一个强大的社区也需要持续努力。Shardeum的测试网上线后获得了广泛关注,虽然也面临质疑,但我们相信进步之路总是曲折的。

正如古语所言,"国有六职,百工与居一焉。或坐而论道,或作而行之"。Jsquare希望更多建设者加入去中心化与分片的探索中。我们相信,只有在Web3大规模采用时,高质量高性能的去中心化公链才能脱颖而出。那些经历质疑、讨论和反复论证的社区,才能在去中心化道路上走得更远。