20240309 weekly

[AlexStocks]

PikiwiDB feature：

老模型一些问题：主从同步；网络库；

• 1 client 与 slave 线程池耦合；
• 2 网络库 pink 跟上层逻辑代码耦合；
• 3 主从同步逻辑复杂，无法做到强一致性；
• 4 积累了很多历史债务，优化难度高，解决一些疑难杂症的成本非常高；
• 5 不适配云原生：多租户、存算分离、rebalance；
• 6 Redis 最新接口的适配有问题，尤其是主从同步跟 Redis 完全不兼容；
• 7 无法做到级联：只能实现 一主多从 的并联形态，无法实现 M -> S -> S 这种级联形态，也即 S 后面无法再挂一个 S；

目标：解决掉 主从同步 和 网络库 这俩大问题，并实现数据强一致

• 1 data-consistency: raft which compatible with master-slave mode；
• 2 volumn-less: split the compute and storage under RocksDB on S3;
• 3 网络读写分离：接受请求在读线程，逻辑处理在另一个线程，写是在第三个线程
• 4 通过存算分离把磁盘存储池化
• 5 通过RDMA技术把内存池化

core

Item	Priority	Issue/Pr	Owner	Description
Command 命令处理	P0		谦祥
网络改造	P0	#5	潘磊	client 链接和 slave 连接分离
内存 hashtable	P0		潘磊/纪世元	tbb hashtable;<br>RocksDB hashtable https://github.com/facebook/rocksdb/blob/main/utilities/persistent_cache/hash_table_evictable.h ;<br> tera https://github.com/baidu/tera/blob/master/doc/persistent_cache.md
存储模型	P0			leveldb -> rocksdb -> floyd
主从同步模型	P0			Raft: redis sync; psync; psync 2.0；pika binlog；
主体逻辑多线程改造	P0			事务、pubsub、list pop 等

todo:

• 1 binlog for master-slave; raft; slot
• 2 master -> slave replication： (1) using redis command SYNC&PSYNC; (2) using RocksDB WAL instead of pika binlog by RocksDB API GetUpdateSince()
• 3 redis cache
• 4 info command
• 5 hello command

存储模型 floyd

Item	Priority	Issue/Pr	Owner	Description
添加关闭 RocksDB wal 的接口	P0		dxs
先把 floyd 移植过来		P0		dxs
把 db 下移	P0		dxs

集群

Item	Priority	Issue/Pr	Owner	Description

Pika binlog + braft -> 1 经典模式； 2 raft 模式。

可观测

Item	Priority	Issue/Pr	Owner	Description

工具集

Item	Priority	Issue/Pr	Owner	Description

云原生

Item	Priority	Issue/Pr	Owner	Description

质量建设

Item	Priority	Issue/Pr	Owner	Description
feature: add go test for pikiwidb from pika			#75

• gtest ut
• redis tcl ut：尽量在将来的 go test 中重写
• go test：ut or e2e