X-Engine是阿里云研发的LSM-Tree结构的存储引擎,主打低存储成本带来的性价比。
问题
the tsunami problem 海啸问题:122倍突发流量
the flood discharge problem 泄洪问题:将内存数据快速转到持久化存储组件
the fast-moving current problem 快变洋流问题:热点行变化快
架构
优化总结
读路径优化
Extent
Cache
多版本SuperVersion
增量cache替换
写路径优化
memtable热点行优化
...
MyRocks in Facebook UDB
MyRocks Paper《MyRocks: LSM-Tree Database Storage Engine Serving Facebook's Social Graph》
这篇文章介绍了Facebook为了解决UDB数据库成本迁移MyRocks的挑战和解决方案。
Introduction
迁至MyRocks所遇到的挑战
在Facebook UDB场景下,MyRocks将存储空间压缩了一半,因此实例数目减半,也意味着UDB集群的CPU和IO硬件资源减半。
Range Scan的Forward和Backward性能不一样,这个主要是底层数据...
RocksDB演进
《Evolution of Development Priorities in Key-value Stores ServingLarge-scale Applications: The RocksDB Experience》FAST'20
这篇文章是讲述Facebook大规模部署RocksDB的经验,主要是RocksDB优化目标的演变。
RocksDB应用比较广,除了作为KV产品服务业务,也在很多其他系统中作为存储组件。
Streaming Processing: Flink, Kafaka Stream, Samba, Facebook's Stylus.
Logging/Queuing Service: Fa...