OB平台接口 OB真人游戏接口 OB接口 OB真人视讯接口,这一节讲一下OB的存储层。
分区是OB的一等公民。一个表由一个或者若干个分区组成,分区是OB逻辑上水平可扩展概念和物理上数据组织的基本单位。分区是自包含的:每个分区有自己独立的选举和leader,独立的事务日志、数据存储和索引。分区可大可小,一般大小在GB量级,它可以被RS在多个节点之间调度以实现负载均衡。
每个分区有一个唯一标识ObPartitionKey,由租户id,表id,分区id组成。从存储层来说,每个节点就是存储和组织这些key对应的分区副本,每个节点上可以有数万个副本。副本有多种类型,比如只读副本与主副本之间不是通过paxos协议,而是异步消息同步事务日志。


storage/ob_partition_service.h是存储层的总入口,它对外提供了存储层的所有RPC服务,如创建删除分区副本。实际上,它是每个节点上所有分区级接口的入口,包括事务控制接口,分区读写的接口等。
前面讲过,建表和新增分区等DDL语句是由RS执行的,RS在根据一定策略选定节点后,就会RPC调用这里的create_xxx。
从这个入口一层一层追下去,可以找到所有存储结构。但存储层内部有大量类似的接口,很容易混淆。每个分区都是一个“索引组织表”,索引结构是多层的LSM-Tree。虽然是多层,但是有参数可以调整,尽量只有内存里的memtable(见storage/memtable)和磁盘上的major sstable(见storage/blocksstable)两层。每次major compaction的时候,memtable, minor sstable的数据与原来的major sstable合并,产生新版本的major sstable。在合并期间,可能有多个版本的major sstable同时提供服务。一个分区副本的多层存储结构合起来,就是类ObPartitionStore。
前面我好像说过“分区是OB的一等公民”?额,其实我撒谎了。PG才是。此PG非彼PG。PG,Partition Group,表示共享同一个事务日志流和memtable的“有紧密关系的”一组分区。外部一般不使用这个特性,一般一个PG里面只有一个分区,所以您就当我没说。但是我说了你才能理解这里的存储结构和操作对象为什么有奇怪的pg前缀和ObPGKey。
读到这里,云里雾里?那就对了。看官自己画一个类图吧。

发表回复