未加星标

Lepus搭建企业级数据库慢查询分析平台

字体大小 | |
[数据库(mysql) 所属分类 数据库(mysql) | 发布者 店小二04 | 时间 2018 | 作者 红领巾 ] 0人收藏点击收藏

Lepus搭建企业级数据库慢查询分析平台
前言

Lepus的慢查询分析平台是独立于监控系统的模块,该功能需要使用percona-toolkit工具来采集和记录慢查询日志,并且需要部署一个我们提供的shell脚本来进行数据采集。该脚本会自动开启您数据库的慢查询日志,并对慢查询日志进行按小时的切割,并收集慢查询日志的数据到监控机数据库。随后您通过Lepus系统就可以分析慢查询了。

安装 安装 percona-toolkit yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-IO-Socket-SSL perl-DBI perl-DBD-mysql

下载地址: https://www.percona.com/downloads/percona-toolkit/LATEST/

## 你也可以选择其他版本 wget https://www.percona.com/downloads/percona-toolkit/2.2.6/RPM/percona-toolkit-2.2.6-1.noarch.rpm

安装:

rpm -ivh percona-toolkit-2.2.6-1.noarch.rpm 开启慢查询分析

在 MySQL 服务器管理里面电击右侧的编辑按钮,进入服务器编辑界面,开启慢查询日志。

慢查询脚本 #!/bin/bash #****************************************************************# # ScriptName:/usr/local/sbin/lepus_slowquery.sh # Create Date:2018-11-05 #***************************************************************# # configlepus database server 监控端 lepus_db_host="192.168.1.180" lepus_db_port=9002 lepus_db_user="lepus_user" lepus_db_password="password" lepus_db_database="lepus" # configmysql server 被监控端 # 通过 which mysql 命令查询位置 mysql_client="/usr/local/mysql/bin/mysql" mysql_host="192.168.1.190" mysql_port=3306 mysql_user="root" mysql_password="root" # configslowqury # 慢查询日志存放地址 slowquery_dir="/data/mysql/" # 慢日志时间1s,可以自行定义 slowquery_long_time=1 # 获取被监控端慢日志存放位置 slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "show variables like 'slow_query_log_file';" | grep log | awk '{print $2}'` # 通过 which pt-query-digest 命令查询位置 pt_query_digest=`/usr/bin/pt-query-digest` # config server_id,从监控列表查找ID,必须一致,否则无法展示数据 lepus_server_id=1 # collect mysqlslowquery log into lepus database; # 收集慢日志存储到天兔监控数据库 $pt_query_digest --user=$lepus_db_user --password=$lepus_db_password --port=$lepus_db_port --charset=utf8 --review h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review --history h=$lepus_db_host,D=$lepus_db_database,t=mysql_slow_query_review_history --no-report --limit=100% --filter="\$event->{add_column} = length(\$event->{arg}) and\$event->{serverid}=$lepus_server_id " $slowquery_file 2> /dev/null # set a new slowquery log; tmp_log=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "select concat('$slowquery_dir','slow_',date_format(now(),'%Y%m%d%H'),'.log');" | grep log | sed -n -e '2p'` # config mysqlslowquery; $mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log=1;set global long_query_time=$slowquery_long_time;" 2> /dev/null $mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password -e "set global slow_query_log_file = '$tmp_log';" 2> /dev/null # delete log before 7days; cd $slowquery_dir /usr/bin/find ./ -name 'slow_*' -mtime +7 | xargs rm -rf

配置完成后保存,并加入计划任务。因为慢查询做了按小时的切割,建议计划任务时间间隔在1小时之内。

将以上脚本加入定时任务:

crontab -e

写入脚本:

*/5 * * * * sh /usr/local/sbin/lepus_slowquery.sh > /dev/null 2>&1

这里,我们也可以手动执行看一下效果,登录监控端服务,查看慢查询相关参数:

mysql> show variables like 'slow_query%'; +---------------------------+--------------------------------------+ | Variable_name | Value | +---------------------------+--------------------------------------+ | slow_query_log | OFF | | slow_query_log_file | /data/mysql/slowquery_2018110609.log | +---------------------------+--------------------------------------+ mysql> show variables like 'long_query_time'; +-----------------+-----------+ | Variable_name | Value | +-----------------+-----------+ | long_query_time | 0.500000 | +-----------------+-----------+ 参数说明 slow_query_log 慢查询开启状态 slow_query_log_file 慢查询日志存放的位置(这个目录需要MySQL的运行帐号的可写权限,一般设置为MySQL的数据存放目录) long_query_time 查询超过多少秒才记录

本文数据库(mysql)相关术语:navicat for mysql mysql workbench mysql数据库 mysql 存储过程 mysql安装图解 mysql教程 mysql 管理工具

代码区博客精选文章
分页:12
转载请注明
本文标题:Lepus搭建企业级数据库慢查询分析平台
本站链接:https://www.codesec.net/view/611062.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 数据库(mysql) | 评论(0) | 阅读(103)