April 3, 2020
Database
LSMTree自适应内存管理Breaking Down Memory Walls: Adaptive Memory Managementin LSM-based Storage Systems(VLDB’21)
内存管理整体架构比较清晰,如图,无需赘言。
!http://loopjump.c ...
Read more
April 2, 2020
Database
前面介绍的并发控制算法评估里面,测试也把Cavlin算进来了,这里简单介绍下Calvin。详细的可以参考下原论文 Calvin: Fast Distributed Transactions for Partitioned Database Systems (SIGMOD12’)。
Calvi ...
Read more
April 1, 2020
Database
An Evaluation of Distributed Concurrency Control(VLDB17’)
这篇工作主要是比较并评估了6种in-memory分布式数据库的并发控制计算法。
System Overview论文在Deneva系统上做分布式并发控制算法实现和测试。
Arch ...
Read more
March 29, 2020
Database
An Empirical Evaluation of In-Memory Multi-Version Concurrency Control (VLDB17’)
这篇工作梳理了MVCC的四个要点:
并发控制协议
多版本存储
垃圾回收
索引管理
还介绍了MVCC的多种变体原理,实现了这些变 ...
Read more
March 20, 2020
DistributedSystem
序问题可以说是分布式系统中天字第一号问题,因为它来自分布式系统最基础的那个系统模型假设 - 异步网络,而且影响了分布式系统算法设计等等很多方面。分布式系统的序问题阐述起来非常庞大,这里只是简单描述下跟偏序/DAG的一个例子 - 区块链公链的DAG。
前面已经写过一点关于偏序的东西, ...
Read more
January 1, 2020
Database
介绍几篇并发控制的工作(并发控制算法还有很多,这里也只是简单看了几篇):
《An Empirical Evaluation of In-Memory Multi-Version Concurrency Control》(VLDB 17’)实测了几种In-Memory MVCC机制。参见论文 ...
Read more
November 1, 2019
SQL
Calcite是Apache旗下开源的、支持多种数据源、提供查询处理/查询优化/查询语言的基础软件框架。
Calcite的三个特点:
标准SQL: 工业级的SQL parser, validator, JDBC Driver
查询优化器:将查询表达为关系代数,计划生成, ...
Read more
August 10, 2019
Database
说明《Designing Data-Intensive Applications》从数据系统角度介绍了方方面面的技术点。
内容上,基本都是一个分布式数据库存储引擎所需要的技术能力,而且很多技术点讲的很详细,不过计算引擎基本上没涉及。
另外书里面也介绍了一些其他的数据系统,也都比较有价值。
P ...
Read more
April 10, 2019
Paxos
《Distributed consensus revised》 Heidi Howard
整篇论文151页,粗略通读了一遍,主要是了解各个变体的基本思路和正确性直觉的理解,更形式化的证明基本上都跳过了。
这里假设读者对Basic Paxos有了一定了解,看过Lamport的那篇原始论文。另外 ...
Read more
March 10, 2019
Database
《Designing Access Methods: The RUM Conjecture》
这篇论文从读、写、存储空间开销角度总结了access method设计,并提出了一个RUM猜想,认为针对其中两个开销优化,则会导致第三个优化困难。
就RUM猜想本身的可信程度而言,我个人觉得一般,不 ...
Read more