排查两个生产 mysql 实例硬件一样性能差别过大问题

目前生产环境 mysql 两个实例,
目前所有操作都在 master 上,
通过 binlog 同步到 slave,
最近做慢查询优化,
发现同样的 sql,
master 上 15 秒跑完,slave 上 50s 跑完,
master 上甚至同时也部署了 redis
slave 上没有部署.
对比了表结构,索引,执行计划也是一样的.
百思不得其解.
补充下.两个 mysql 都是云服务器直装的.
宿主机都是 2 核 16G
阿里云 ecs 服务器.
怀疑是磁盘性能问题,但是介于是生产机器.不好直接拿来做压测来确定.
求助下各位,在不做磁盘压测的情况下,有没有其他好的办法来排查.
各位有没有其他的思路或者排查方向.

MySQL

slave

master

排查

18 条回复 • 2022-03-04 22:18:09 +08:00

wisheslee

2022-03-03 18:48:45 +08:00

你确定硬件是一样的？
我之前遇到过生产和线下性能差别大的问题，原因是线下是公司自建，一台机器有很多库

mineralsalt

2022-03-03 18:54:48 +08:00

如果是怀疑磁盘问题, 那直接看磁盘占用率不就好了, 如果一个磁盘占用率明显高, 那说明就是磁盘的瓶颈, 哪需要压测

haython

2022-03-03 19:06:12 +08:00

阿里云的磁盘等级，硬盘大小都会影响读写速度
https://help.aliyun.com/document_detail/25382.html

CEBBCAT

2022-03-03 19:57:55 +08:00

有没有可能是服务商超售的关系？

ivanMeng

2022-03-03 20:37:53 +08:00

如果所有的硬件都一样的话。就考虑下 mysql 碎片整理吧

vibbow

2022-03-03 21:15:57 +08:00

99%的概率是邻居的原因

ksedz

2022-03-03 21:26:48 +08:00

对比下 mysql 配置，包括动态的配置都比一比，比如 bufferpool 大小之类的
然后 mysql 的版本、编译参数等
再精细点就是确认下是对特定库表的查询速度有差异还是对所有库表的操作都有差距等等
其实是否预热影响也挺的，可以试试

kingcanfish

2022-03-03 21:47:20 +08:00

邻居问题确实有可能 ecs 还是建议跑 server 跑数据库太不可控了跑数据库直接卖阿里云的 mysql 实例不好嘛

xmh51

2022-03-03 22:08:25 +08:00

不推荐用虚拟机做生产 mysql ，因为虚拟机会涉及到 numa 架构，内存的 io 会有差异，还有云磁盘，磁盘也是会涉及邻居资源竞争的

rekulas

2022-03-03 22:24:48 +08:00

既然是云服务直接开台同配置按量测测就知道有没有问题了

feitxue

2022-03-03 22:51:46 +08:00

多位都提到了邻居竞争,我就不一一感谢了.
@ivanMeng mysql 碎片整理 .mysql 优化的新名词,第一次了解,感谢.
@xmh51 numa 架构这个关键词我也第一次了解.感谢提醒.
@kingcanfish 现在数据量还不大.大部分表都是几千几万条,极个别表几十万数据.所以领导意思是暂时没必要直接上 rds 实例.

msg7086

2022-03-04 02:48:36 +08:00

「实例硬件一样」

VPS 还怎么能硬件一样。
所有的东西都是虚拟的，包括 CPU 和磁盘。
不同的机器上这两个东西实际性能可以天差地别。
你在阿里云上随便开 10 台机器，这 10 台机器性能都不一样。

corningsun

2022-03-04 10:15:32 +08:00

@feitxue

RDS 很便宜的呀，才几十万的数据量，用最低配的就可以了。

RDS 会送监控，自动备份，一键恢复。

都上生产了，数据很重要啊。

onhao

2022-03-04 14:49:02 +08:00

说起这个邻居问题，就来气
春节期间，开了阿里云 RDS 3 台只读实例一台 8H16G 一台 8H32G 一台 16H32G
16H32G 的没有 8H32G 1/4 性能，完全被 16H32G 的拖累了，能解释的就是 16H32G 这台邻居肯定在透支身体。

feitxue

2022-03-04 15:16:41 +08:00

@onhao ecs 有邻居我能理解.
rds 也有邻居问题吗..这就恐怖了...

freelancher

2022-03-04 16:31:18 +08:00

考虑付费吗？我可以帮排查。

onhao

2022-03-04 18:01:36 +08:00

@feitxue https://help.aliyun.com/document_detail/57184.html?spm=5176.9826160.0.0.79811450aKhMXg
独享被分配的内存和存储资源，与同一物理机上的其他共享规格实例共享 CPU 资源。
通过资源复用换取 CPU 使用率最大化，性价比较高，享受规模红利。
实例有资源争抢风险。

feitxue

2022-03-04 22:18:09 +08:00

@onhao 谢谢大佬科普.

@freelancher 暂时不用了.谢谢.