PolarDB-SCC：RO节点强一致性读优化

PolarDB-SCC：RO节点强一致性读优化
《PolarDB-SCC: A Cloud-Native Database Ensuring Low Latency for Strongly Consistent Reads》 很多数据库系统通过类似于binlog复制或者redo复制的方式提供RO节点来提升整个系统的读吞吐，RW节点上产生更新，同步到RO节点apply变更。但只读请求发到RO节点上可能会读到陈旧的数据。如果想读到最新的数据（例如read-after-write一致性）呢？ 首先读到最新数据或者强一致性读，指的是RO上启动的只读请求，...
2024年02月25日 数据库 暂无评论 喜欢 0 阅读 32 次 阅读全文

PolarDB Serverless论文

PolarDB Serverless论文
《PolarDB Serverless： A Cloud Native Database for Disaggregated Data Centers》   PolarDB架构 PolarDB是存储计算分离的架构。底层是定制的PolarFS层，它是一个分布式的、支持一写多读的文件系统层。上层是MySQL(InnoDB)计算层，支持一个RW节点和若干RO节点，计算层包含事务、BufferPool等，RW节点写事务产生redo并推送到RO节点，RW上的脏页被淘汰时刷入PolarFS，RO节点读取页面时，如果BufferP...
2024年02月25日 数据库 暂无评论 喜欢 0 阅读 27 次 阅读全文

PolarFS论文

PolarFS论文
《PolarFS : An Ultra-low Latency and Failure Resilient Distributed File System for Shared Storage Cloud Database》 VLDB2018   Introduction 存储计算分离： 存储节点和计算节点可以分别独立灵活配置硬件 存储池化，降低碎片、利用率不均、空间浪费，存储集群的容量和吞吐透明水平扩展 计算节点无状态，数据库弹性更好（迁移更容易），可靠性提升   PolarFS： 利用RDMA和NVMe SSD新硬...
2024年02月25日 分布式, 数据库 暂无评论 喜欢 0 阅读 33 次 阅读全文

Data Storage Management in Cloud Environment

Data Storage Management in Cloud Environment
这是一篇综述性质的文章，讲的是云计算环境的数据存储，这里先罗列下文章目录结构。 Introduction Overview A Comparison of Data-Intensive Networks Terms and Definitions Data-intensive Application Architecture, Goals and Chanllenges of Intra-Cloud Storage Architecture, Goals and Chanllenges of Inter-Cloud Storage Data Model Data Structure Data Abstraction Data Access Model ...
2022年10月01日 数据库 暂无评论 喜欢 0 阅读 140 次 阅读全文

Intel CPU自上而下的微架构性能分析方法

Intel CPU自上而下的微架构性能分析方法
原文：https://www.intel.com/content/www/us/en/develop/documentation/vtune-cookbook/top/methodologies/top-down-microarchitecture-analysis-method.html   现代CPU一般都采用了流水线、硬件线程、乱序执行、指令级并行等技术来高效利用CPU内的各种资源。但有很多软件和算法在实现上并不能很好地利用好CPU，比如非常常见的链表会带来间接地址访问，影响硬件预取的效果，导致读数据的时候流水线...
2022年02月05日 数据库 暂无评论 喜欢 0 阅读 661 次 阅读全文

浅谈性能分析

浅谈性能分析
  性能分析和优化是一个要求比较全面的工作，通常既要了解所分析的目标系统本身的设计和实现，也要对操作系统等底层基础设施有一定了解，同时需要掌握一些方法论以指导性能分析和优化工作。 本文尝试根据个人这几年做过的几次数据库性能优化的一点经验做一些总结。如前所说，性能分析和优化覆盖面比较广，这里只能抛砖引玉，欢迎读者批评指正。   性能测试 性能分析的第一步是做性能测试。 像My...
2022年02月05日 数据库 评论 1 条 喜欢 5 阅读 2,223 次 阅读全文

Content-Aware Lock Scheduling

Content-Aware Lock Scheduling
  VLDB 18'  Content-Aware Lock Scheduling for Transactional Database   相关的证明在 Contention-aware lock scheduling for transactionaldatabases.Technical Report,   锁是TP系统中的核心组件之一，但对事务在锁方面的调度研究却比较少。 比如事务t1已经持有了某个lock，另外有t2, t3 ... 因为申请同一把锁而阻塞，当t1提交释放锁（2PL）时，应该将锁给哪个事务呢？大部分系统用的...
2022年02月04日 数据库 暂无评论 喜欢 0 阅读 438 次 阅读全文

InnoDB源码解析-日志系统

InnoDB源码解析-日志系统
MySQL 5.7中 Log Sys锁冲突比较大，MySQL 8.0对InnoDB Log Sys进行了重构。 我们先描述下5.7的 Log Sys看看锁冲突，然后再介绍8.0的方案以及部分代码实现细节。 mtr mtr 表示 mini-transaction，表示操作的一个最小原子单元，比数据库事务概念要更小。比如一个事务可能插入两行数据，但每插入一行都可能触发B-Tree的叶子分裂，页面的分裂操作涉及多个页面，这些页面的修改必须保持原子（不能发生分裂的第...
2022年02月04日 数据库 暂无评论 喜欢 0 阅读 521 次 阅读全文

InnoDB源码解析-事务系统

InnoDB源码解析-事务系统
InnoDB事务系统负责InnoDB层事务管理，快照管理，MVCC等。 事务对象 InnoDB层事务对象为 struct trx_t 类型。 12345678910111213141516 // 部分字段struct trx_t {    trx_id_t id; // 事务开启序    trx_id_t no; // 事务提交序    trx_state_t state; // 事务状态  ...
2022年02月04日 数据库 暂无评论 喜欢 0 阅读 531 次 阅读全文

InnoDB源码解析-存储管理层次

InnoDB源码解析-存储管理层次
InnoDB的存储层次 总的数据粒度：Row - Page - Extent - Segment - Tablespace。 数据格式 Row 行内容主要就是各列的值，外加一些flag信息。 Page Page(页面)是固定大小的物理存储块。Page有多种用途，既可以存放一组行记录，也可以存放存储管理元数据。 具体地，page类型相关的源码： ...
2022年02月04日 数据库 暂无评论 喜欢 0 阅读 728 次 阅读全文