MemSQL优化器

MemSQL优化器
《The MemSQL Query Optimizer: A modern optimizer for real-time analystic in a distributed database》VLDB2016 MemSQL是面向内存优化的数据库，本身是shared-nothing架构。MemSQL后来改名叫SingleStoreDB（S2DB），详细的架构参考这里：http://loopjump.com/singlestore-cloud-native-htap/   MemSQL的优化器分为三步：Rewriter, Enumerator, Planner。 因为MemSQL是shared-nothing的分布式架构...
2022年10月01日 未分类 暂无评论 喜欢 1 阅读 270 次 阅读全文

SingleStore - 云原生HTAP

SingleStore - 云原生HTAP
S2DB简介 以前的MemSQL，shared-nothing架构的DBMS，分区混部，多副本HA，支持RO副本，支持code generation，支持跨域异步复制副本。另外也支持基于对象存储存放冷数据。 S2DB还可以做到交互式实时洞察和决策、高吞吐低延迟写入和在变动的数据上执行复杂低延迟查询，这在多个专用系统缝合的方案中很难做到。 S2DB的两个设计要点： 存储计算分离 Separation of Storage and Compute 统一表存储 Unified Tab...
2022年10月01日 未分类 评论 1 条 喜欢 0 阅读 222 次 阅读全文

Data Storage Management in Cloud Environment

Data Storage Management in Cloud Environment
这是一篇综述性质的文章，讲的是云计算环境的数据存储，这里先罗列下文章目录结构。 Introduction Overview A Comparison of Data-Intensive Networks Terms and Definitions Data-intensive Application Architecture, Goals and Chanllenges of Intra-Cloud Storage Architecture, Goals and Chanllenges of Inter-Cloud Storage Data Model Data Structure Data Abstraction Data Access Model ...
2022年10月01日 数据库 暂无评论 喜欢 0 阅读 103 次 阅读全文

Helping compiler help you : Ispike, BOLT

Helping compiler help you : Ispike, BOLT
《BOLT: A Practical Binary Optimizer for Data Centers and Beyond》 CGO 2019 《Ispike: A Post-link Optimizer for the IntelR ItaniumR Architectur》 CGO 2004   Helping compiler help you 现在数据中心跑的程序二进制文件普遍都比较大而且代码逻辑比较复杂，因此编译过程的优化在很多情况下能够显著提升性能。编译优化是一种 helping compiler help you的方式。 编译优化常见的几种优化技术...
2022年03月12日 编程 评论 1 条 喜欢 2 阅读 721 次 阅读全文

Intel CPU自上而下的微架构性能分析方法

Intel CPU自上而下的微架构性能分析方法
原文：https://www.intel.com/content/www/us/en/develop/documentation/vtune-cookbook/top/methodologies/top-down-microarchitecture-analysis-method.html   现代CPU一般都采用了流水线、硬件线程、乱序执行、指令级并行等技术来高效利用CPU内的各种资源。但有很多软件和算法在实现上并不能很好地利用好CPU，比如非常常见的链表会带来间接地址访问，影响硬件预取的效果，导致读数据的时候流水线...
2022年02月05日 数据库 暂无评论 喜欢 0 阅读 535 次 阅读全文

浅谈性能分析

浅谈性能分析
  性能分析和优化是一个要求比较全面的工作，通常既要了解所分析的目标系统本身的设计和实现，也要对操作系统等底层基础设施有一定了解，同时需要掌握一些方法论以指导性能分析和优化工作。 本文尝试根据个人这几年做过的几次数据库性能优化的一点经验做一些总结。如前所说，性能分析和优化覆盖面比较广，这里只能抛砖引玉，欢迎读者批评指正。   性能测试 性能分析的第一步是做性能测试。 像My...
2022年02月05日 数据库 评论 1 条 喜欢 5 阅读 1,992 次 阅读全文

Content-Aware Lock Scheduling

Content-Aware Lock Scheduling
  VLDB 18'  Content-Aware Lock Scheduling for Transactional Database   相关的证明在 Contention-aware lock scheduling for transactionaldatabases.Technical Report,   锁是TP系统中的核心组件之一，但对事务在锁方面的调度研究却比较少。 比如事务t1已经持有了某个lock，另外有t2, t3 ... 因为申请同一把锁而阻塞，当t1提交释放锁（2PL）时，应该将锁给哪个事务呢？大部分系统用的...
2022年02月04日 数据库 暂无评论 喜欢 0 阅读 394 次 阅读全文

InnoDB源码解析-日志系统

InnoDB源码解析-日志系统
MySQL 5.7中 Log Sys锁冲突比较大，MySQL 8.0对InnoDB Log Sys进行了重构。 我们先描述下5.7的 Log Sys看看锁冲突，然后再介绍8.0的方案以及部分代码实现细节。 mtr mtr 表示 mini-transaction，表示操作的一个最小原子单元，比数据库事务概念要更小。比如一个事务可能插入两行数据，但每插入一行都可能触发B-Tree的叶子分裂，页面的分裂操作涉及多个页面，这些页面的修改必须保持原子（不能发生分裂的第...
2022年02月04日 数据库 暂无评论 喜欢 0 阅读 481 次 阅读全文

InnoDB源码解析-事务系统

InnoDB源码解析-事务系统
InnoDB事务系统负责InnoDB层事务管理，快照管理，MVCC等。 事务对象 InnoDB层事务对象为 struct trx_t 类型。 12345678910111213141516 // 部分字段struct trx_t {    trx_id_t id; // 事务开启序    trx_id_t no; // 事务提交序    trx_state_t state; // 事务状态  ...
2022年02月04日 数据库 暂无评论 喜欢 0 阅读 482 次 阅读全文

InnoDB源码解析-存储管理层次

InnoDB源码解析-存储管理层次
InnoDB的存储层次 总的数据粒度：Row - Page - Extent - Segment - Tablespace。 数据格式 Row 行内容主要就是各列的值，外加一些flag信息。 Page Page(页面)是固定大小的物理存储块。Page有多种用途，既可以存放一组行记录，也可以存放存储管理元数据。 具体地，page类型相关的源码： ...
2022年02月04日 数据库 暂无评论 喜欢 0 阅读 619 次 阅读全文