How to Architect a Query Compiler Revisited

How to Architect a Query Compiler Revisited
How to Architect a Query Compiler, Revisited》 SIGMOD'168 数据库执行一个查询的流程包括前端语法解析、优化器以及后端解释执行。语言编译器的流程与之类似，除了最后一步会编译成机器码执行，DBMS一般还是解析执行的。 在相当长一段时间内，硬盘IO是主要的性能瓶颈，计划的解释执行有利于移植，因此将解释执行替换成编译执行没有太大必要。但NVM硬件发展和业务对AP型查询需求增多，使得很多时候查询是...
2021年02月14日 数据库 暂无评论 喜欢 1 阅读 307 次 阅读全文

LSMTree自适应内存管理

LSMTree自适应内存管理
LSMTree自适应内存管理 Breaking Down Memory Walls: Adaptive Memory Managementin LSM-based Storage Systems（VLDB'21） 内存管理整体架构比较清晰，如图，无需赘言。 Write Memory内存管理 Write Memory的管理方式见下图。 像RocksDB的Write Memory就是一整个memtable，论文给出了另外一个思路，即使是write memory也用leveled方式，如图。Memory也分成M0，M1，M2三层，M0满则merge到M1，同理M1 merg...
2022年02月01日 数据库 暂无评论 喜欢 0 阅读 277 次 阅读全文

The Volcano Optimizer Generator

The Volcano Optimizer Generator
  《The Volcano Optimizer Generator : Extensibility and Efficient Search》1993 论文介绍了在EXODUS之后的一个新的优化器生成器Volcano。 一个好的optimizer generator要满足如下条件： 既能用到Volcano Executor，也能用到已经存在的其他执行器 优化的时间消耗和内存消耗都比较低 能够高效、可扩展地支持物理属性（如sort order、compression） 允许使用启发信息和数据模型语义来引导搜索和剪枝...
2021年02月13日 数据库 暂无评论 喜欢 0 阅读 277 次 阅读全文

Bitcask简介

Bitcask简介
Bitcask是由Basho公司搞的一个产品。 技术设计 数据顺序追加到磁盘上的active data file，并在内存中建立hash索引。 active data file文件长到一定程度就切成old data file，新的数据写入新的active data file。 old data files定期merge成一个merged data file，merge过程中同时会生成一个hint file来索引这个merged data file。 data file存放格式   内存keydir 是一个key -> <file_id, valu...
2019年10月01日 数据库 暂无评论 喜欢 0 阅读 252 次 阅读全文

MyRocks in Facebook UDB

MyRocks in Facebook UDB
MyRocks Paper《MyRocks: LSM-Tree Database Storage Engine Serving Facebook's Social Graph》 这篇文章介绍了Facebook为了解决UDB数据库成本迁移MyRocks的挑战和解决方案。   Introduction 迁至MyRocks所遇到的挑战 在Facebook UDB场景下，MyRocks将存储空间压缩了一半，因此实例数目减半，也意味着UDB集群的CPU和IO硬件资源减半。 Range Scan的Forward和Backward性能不一样，这个主要是底层数据...
2022年02月02日 数据库 暂无评论 喜欢 0 阅读 252 次 阅读全文

Grammar-like Functional Rules - for Representing Query Optimization Alternatives

Grammar-like Functional Rules - for Representing Query Optimization Alternatives
  《Grammar-like Functional Rules - for Representing Query Optimization Alternatives》 SIGMOD 1988 概述 优化器如果要做到可扩展，则要求执行计划的变换策略需要作为数据而不是代码存在。本质上优化器就是一个专家系统，使用strategy rules将一个查询计划变成另一个等价的更好的计划。这种灵活可扩展带来一个问题是 不够高效：在任意一步，都需要检查很多转换规则的使用条件，而且可能有多个规...
2021年02月13日 数据库 暂无评论 喜欢 0 阅读 247 次 阅读全文

RocksDB演进

RocksDB演进
《Evolution of Development Priorities in Key-value Stores ServingLarge-scale Applications: The RocksDB Experience》FAST'20 这篇文章是讲述Facebook大规模部署RocksDB的经验，主要是RocksDB优化目标的演变。 RocksDB应用比较广，除了作为KV产品服务业务，也在很多其他系统中作为存储组件。 Streaming Processing: Flink, Kafaka Stream, Samba, Facebook's Stylus. Logging/Queuing Service: Fa...
2022年02月01日 数据库 暂无评论 喜欢 0 阅读 240 次 阅读全文

Orca优化器

Orca优化器
《Orca: A Modular Query Optimizer Architecture for Big Data》 SIGMOD 2014   Orca是Pivotal数据管理系列产品（包括 Pivotal Greenplum Database和Pivotal HAWQ）共用的优化器模块，面向AP负载，整合了当时最新的技术。 Orca的主要特点： Modularity 对元数据和系统描述进行抽象，因此可移植 Extensibility 将所有的查询元素和优化操作当做first class citizen，避免多阶段优化 Multi-core Ready...
2021年02月13日 数据库 暂无评论 喜欢 1 阅读 236 次 阅读全文

关系数据库优化器概述

关系数据库优化器概述
《An Overview of Query Optimization in Relational Systems》PODS 1998, Microsoft Research 优化器的输入是用户查询，负责生成一个高效的执行计划，优化过程是一个比较复杂的过程。 优化器主要包含三个部分： Search Space：搜索空间包含足够好的计划 代价估计：代价估计足够精确 枚举算法：枚举算法要足够高效 System R优化器案例 以System R为例来初步看下优化器的这三部分，通过这一节，对优化器...
2021年02月13日 数据库 暂无评论 喜欢 0 阅读 224 次 阅读全文

Snowflake Elastic Data Warehouse

Snowflake Elastic Data Warehouse
《The Snowflake Elastic Data Warehouse》 SIGMOD 16' Snowflake具备如下的特点： 纯粹的SaaS体验：用户将数据放到云上，然后可以通过snowflake对他们的数据进行查询。 关系型：支持SQL和ACID 办结构化：内置函数和SQL扩展来支持对半结构化数据的访问，自动schema discovery和列式存储 弹性：存储和计算资源可以独立无缝弹性，不影响数据可用性和当前查询性能 高可用：容忍node、cluster和data cent宕机...
2021年02月14日 数据库 暂无评论 喜欢 0 阅读 215 次 阅读全文