MySQL Performance-Schema(二) 理论篇,performanceschema

admin@localhost : performance_schema 06:50:03> show tables like
‘%table%summary%’;

performance_schema把等待事件统计表按照不同的分组列(不同纬度)对等待事件相关的数据进行聚合(聚合统计数据列包括:事件发生次数,总等待时间,最小、最大、平均等待时间),注意:等待事件的采集功能有一部分默认是禁用的,需要的时候可以通过setup_instruments和setup_objects表动态开启,等待事件统计表包含如下几张表:

MySQL Performance-Schema(二) 理论篇,performanceschema

     MySQL
Performance-Schema中总共包含52个表,主要分为几类:Setup表,Instance表,Wait
Event表,Stage Event表Statement
Event表,Connection表和Summary表。上一篇文章已经着重讲了Setup表,这篇文章将会分别就每种类型的表做详细的描述。

Instance表
   
 instance中主要包含了5张表:cond_instances,file_instances,mutex_instances,rwlock_instances和socket_instances。
(1)cond_instances:条件等待对象实例
表中记录了系统中使用的条件变量的对象,OBJECT_INSTANCE_BEGIN为对象的内存地址。比如线程池的timer_cond实例的name为:wait/synch/cond/threadpool/timer_cond

(2)file_instances:文件实例
表中记录了系统中打开了文件的对象,包括ibdata文件,redo文件,binlog文件,用户的表文件等,比如redo日志文件:/u01/my3306/data/ib_logfile0。open_count显示当前文件打开的数目,如果重来没有打开过,不会出现在表中。

(3)mutex_instances:互斥同步对象实例
表中记录了系统中使用互斥量对象的所有记录,其中name为:wait/synch/mutex/*。比如打开文件的互斥量:wait/synch/mutex/mysys/THR_LOCK_open。LOCKED_BY_THREAD_ID显示哪个线程正持有mutex,若没有线程持有,则为NULL。

(4)rwlock_instances: 读写锁同步对象实例
表中记录了系统中使用读写锁对象的所有记录,其中name为
wait/synch/rwlock/*。WRITE_LOCKED_BY_THREAD_ID为正在持有该对象的thread_id,若没有线程持有,则为NULL,READ_LOCKED_BY_COUNT为记录了同时有多少个读者持有读锁。通过
events_waits_current
表可以知道,哪个线程在等待锁;通过rwlock_instances知道哪个线程持有锁。rwlock_instances的缺陷是,只能记录持有写锁的线程,对于读锁则无能为力。

(5)socket_instances:活跃会话对象实例
表中记录了thread_id,socket_id,ip和port,其它表可以通过thread_id与socket_instance进行关联,获取IP-PORT信息,能够与应用对接起来。
event_name主要包含3类:
wait/io/socket/sql/server_unix_socket,服务端unix监听socket
wait/io/socket/sql/server_tcpip_socket,服务端tcp监听socket
wait/io/socket/sql/client_connection,客户端socket

Wait Event表
     
Wait表主要包含3个表,events_waits_current,events_waits_history和events_waits_history_long,通过thread_id+event_id可以唯一确定一条记录。current表记录了当前线程等待的事件,history表记录了每个线程最近等待的10个事件,而history_long表则记录了最近所有线程产生的10000个事件,这里的10和10000都是可以配置的。这三个表表结构相同,history和history_long表数据都来源于current表。current表和history表中可能会有重复事件,并且history表中的事件都是完成了的,没有结束的事件不会加入到history表中。
THREAD_ID:线程ID
EVENT_ID:当前线程的事件ID,和THREAD_ID组成一个Primary Key。
END_EVENT_ID:当事件开始时,这一列被设置为NULL。当事件结束时,再更新为当前的事件ID。
SOURCE:该事件产生时的源码文件
TIMER_START, TIMER_END,
TIMER_WAIT:事件开始/结束和等待的时间,单位为皮秒(picoseconds)

OBJECT_SCHEMA, OBJECT_NAME, OBJECT_TYPE视情况而定
对于同步对象(cond, mutex, rwlock),这个3个值均为NULL
对于文件IO对象,OBJECT_SCHEMA为NULL,OBJECT_NAME为文件名,OBJECT_TYPE为FILE
对于SOCKET对象,OBJECT_NAME为该socket的IP:SOCK值
对于表I/O对象,OBJECT_SCHEMA是表的SCHEMA名,OBJECT_澳门皇家赌场网址,NAME是表名,OBJECT_TYPE为TABLE或者TEMPORARY
TABLE
NESTING_EVENT_ID:该事件对应的父事件ID
NESTING_EVENT_TYPE:父事件类型(STATEMENT, STAGE, WAIT)
OPERATION:操作类型(lock, read, write)

Stage Event表 

     
 Stage表主要包含3个表,events_stages_current,events_stages_history和events_stages_history_long,通过thread_id+event_id可以唯一确定一条记录。表中记录了当前线程所处的执行阶段,由于可以知道每个阶段的执行时间,因此通过stage表可以得到SQL在每个阶段消耗的时间。

THREAD_ID:线程ID
EVENT_ID:事件ID
END_EVENT_ID:刚结束的事件ID
SOURCE:源码位置
TIMER_START, TIMER_END,
TIMER_WAIT:事件开始/结束和等待的时间,单位为皮秒(picoseconds)
NESTING_EVENT_ID:该事件对应的父事件ID
NESTING_EVENT_TYPE:父事件类型(STATEMENT, STAGE, WAIT)

Statement Event表
     
Statement表主要包含3个表,events_statements_current,events_statements_history和events_statements_history_long。通过thread_id+event_id可以唯一确定一条记录。Statments表只记录最顶层的请求,SQL语句或是COMMAND,每条语句一行,对于嵌套的子查询或者存储过程不会单独列出。event_name形式为statement/sql/*,或statement/com/*
SQL_TEXT:记录SQL语句
DIGEST:对SQL_TEXT做MD5产生的32位字符串。如果为consumer表中没有打开statement_digest选项,则为NULL。
DIGEST_TEXT:将语句中值部分用问号代替,用于SQL语句归类。如果为consumer表中没有打开statement_digest选项,则为NULL。
CURRENT_SCHEMA:默认的数据库名
OBJECT_SCHEMA,OBJECT_NAME,OBJECT_TYPE:保留字段,全部为NULL
ROWS_AFFECTED:影响的数目
ROWS_SENT:返回的记录数
ROWS_EXAMINED:读取的记录数目
CREATED_TMP_DISK_TABLES:创建物理临时表数目
CREATED_TMP_TABLES:创建临时表数目
SELECT_FULL_JOIN:join时,第一个表为全表扫描的数目
SELECT_FULL_RANGE_JOIN:join时,引用表采用range方式扫描的数目
SELECT_RANGE:join时,第一个表采用range方式扫描的数目
SELECT_SCAN:join时,第一个表位全表扫描的数目
SORT_ROWS:排序的记录数目
NESTING_EVENT_ID,NESTING_EVENT_TYPE,保留字段,为NULL。

Connection表
   
 Connection表记录了客户端的信息,主要包括3张表:users,hosts和account表,accounts包含hosts和users的信息。
USER:用户名
HOST:用户的IP

Summary表
   
Summary表聚集了各个维度的统计信息包括表维度,索引维度,会话维度,语句维度和锁维度的统计信息。
(1).wait-summary表
events_waits_summary_global_by_event_name
场景:按等待事件类型聚合,每个事件一条记录。
events_waits_summary_by_instance
场景:按等待事件对象聚合,同一种等待事件,可能有多个实例,每个实例有不同的内存地址,因此
event_name+object_instance_begin唯一确定一条记录。
events_waits_summary_by_thread_by_event_name
场景:按每个线程和事件来统计,thread_id+event_name唯一确定一条记录。
COUNT_STAR:事件计数
SUM_TIMER_WAIT:总的等待时间
MIN_TIMER_WAIT:最小等待时间
MAX_TIMER_WAIT:最大等待时间
AVG_TIMER_WAIT:平均等待时间

(2).stage-summary表
events_stages_summary_by_thread_by_event_name
events_stages_summary_global_by_event_name
与前面类似

(3).statements-summary表
events_statements_summary_by_thread_by_event_name表和events_statements_summary_global_by_event_name表与前面类似。对于events_statements_summary_by_digest表,
FIRST_SEEN_TIMESTAMP:第一个语句执行的时间
LAST_SEEN_TIMESTAMP:最后一个语句执行的时间
场景:用于统计某一段时间内top SQL

(4).file I/O summary表
file_summary_by_event_name [按事件类型统计]
file_summary_by_instance [按具体文件统计]
场景:物理IO维度
FILE_NAME:具体文件名,比如:/u01/my3306/data/tcbuyer_0168/tc_biz_order_2695.ibd
EVENT_NAME:事件名,比如:wait/io/file/innodb/innodb_data_file
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计IO操作
COUNT_READ,SUM_TIMER_READ,MIN_TIMER_READ,AVG_TIMER_READ,MAX_TIMER_READ,
SUM_NUMBER_OF_BYTES_READ
统计读
COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,MAX_TIMER_WRITE,
SUM_NUMBER_OF_BYTES_WRITE
统计写
COUNT_MISC,SUM_TIMER_MISC,MIN_TIMER_MISC,AVG_TIMER_MISC,MAX_TIMER_MISC
统计其他IO事件,比如create,delete,open,close等

(5).Table I/O and Lock Wait Summaries-表
table_io_waits_summary_by_table
根据wait/io/table/sql/handler,聚合每个表的I/O操作,[逻辑IO]
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计IO操作
COUNT_STAR,SUM_TIMER_WAIT,MIN_TIMER_WAIT,AVG_TIMER_WAIT,MAX_TIMER_WAIT
统计读
COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,
MAX_TIMER_WRITE
统计写
COUNT_FETCH,SUM_TIMER_FETCH,MIN_TIMER_FETCH,AVG_TIMER_FETCH,
MAX_TIMER_FETCH
与读相同
COUNT_INSERT,SUM_TIMER_INSERT,MIN_TIMER_INSERT,AVG_TIMER_INSERT,MAX_TIMER_INSERT
INSERT统计,相应的还有DELETE和UPDATE统计。

(6).table_io_waits_summary_by_index_usage
与table_io_waits_summary_by_table类似,按索引维度统计

(7).table_lock_waits_summary_by_table
聚合了表锁等待事件,包括internal lock 和 external lock。
internal lock通过SQL层函数thr_lock调用,OPERATION值为:
read normal
read with shared locks
read high priority
read no insert
write allow write
write concurrent insert
write delayed
write low priority
write normal

external lock则通过接口函数handler::external_lock调用存储引擎层,
OPERATION列的值为:
read external
write external

(8).Connection Summaries表
events_waits_summary_by_account_by_event_name
events_waits_summary_by_user_by_event_name
events_waits_summary_by_host_by_event_name
events_stages_summary_by_account_by_event_name
events_stages_summary_by_user_by_event_name
events_stages_summary_by_host_by_event_name
events_statements_summary_by_account_by_event_name
events_statements_summary_by_user_by_event_name
events_statements_summary_by_host_by_event_name

(9).socket-summaries表
socket_summary_by_instance
socket_summary_by_event_name

其它表
performance_timers: 系统支持的统计时间单位
threads: 监视服务端的当前运行的线程

Performance-Schema(二)
理论篇,performanceschema MySQL
Performance-Schema中总共包含52个表,主要分为几类:Setup表,Instance表,Wait
Event表,Stage Ev…

| file_summary_by_instance |

对于内存统计表中的低水位估算值,在memory_summary_global_by_event_name表中如果内存所有权在线程之间传输,则该估算值可能为负数

AVG _TIMER_WAIT: 56688392

+————————————————-+

·file_summary_by_event_name:按照每个事件名称进行统计的文件IO等待事件

内存事件在setup_consumers表中没有独立的配置项,且memory/performance_schema/*
instruments默认启用,无法在启动时或运行时关闭。performance_schema相关的内存统计信息只保存在memory_summary_global_by_event_name表中,不会保存在按照帐户,主机,用户或线程分类聚合的内存统计表中。

·当之前请求不能立即获得的锁在这之后被授予时,其锁信息行状态更新为GRANTED;

MIN _TIMER_WAIT: 0

* _pid:客户端进程ID

root@localhost : performance _schema 11:54:36> select * from
memory_summary _by_host _by_event _name where COUNT_ALLOC!=0
limit 1G

·CURRENT_CONNECTIONS:某帐号的当前连接数;

USER: root

+————————————+————————————–+————+

关于events_statements_summary_by_digest表

socket_instances表列出了连接到MySQL
server的活跃连接的实时快照信息。对于每个连接到mysql
server中的TCP/IP或Unix套接字文件连接都会在此表中记录一行信息。(套接字统计表socket_summary_by_event_name和socket_summary_by_instance中提供了一些附加信息,例如像socket操作以及网络传输和接收的字节数)。

| events_transactions_summary_by_thread_by_event_name |

·OBJECT_INSTANCE_BEGIN:读写锁实例的内存地址;

*
通常,truncate操作会重置统计信息的基准数据(即清空之前的数据),但不会修改当前server的内存分配等状态。也就是说,truncate内存统计表不会释放已分配内存

我们先来看看表中记录的统计信息是什么样子的。

AVG _TIMER_WAIT: 0

……

*
如果一个线程没有开启采集功能,但是内存相关的instruments启用了,则该内存释放的操作会被监控到,统计数据会发生改变,这也是前面提到的为啥反复在运行时修改memory
instruments可能导致统计数据为负数的原因

* _client_version:客户端库版本

events_waits_summary_by_instance表:按照列EVENT_NAME、OBJECT_INSTANCE_BEGIN进行分组事件信息。如果一个instruments(event_name)创建有多个实例,则每个实例都具有唯一的OBJECT_INSTANCE_BEGIN值,因此每个实例会进行单独分组

(1)cond_instances表

我们先来看看这些表中记录的统计信息是什么样子的。

我们先来看看表中记录的统计信息是什么样子的。

1row inset ( 0. 00sec)

·USER:某个连接的用户名,如果是一个内部线程创建的连接,或者是无法验证的用户创建的连接,则该字段为NULL;

+————————————————-+

·依赖于连接表中信息的summary表在对这些连接表执行truncate时会同时被隐式地执行truncate,performance_schema维护着按照accounts,hosts或users统计各种事件统计表。这些表在名称包括:_summary_by_account,_summary_by_host,*_summary_by_user

USER: root

SQL_TEXT: SELECT 1

*
COUNT_EXECUTE,SUM_TIMER_EXECUTE,MIN_TIMER_EXECUTE,AVG_TIMER_EXECUTE,MAX_TIMER_EXECUTE:执行prepare语句对象的统计信息

我们先来看看表中记录的统计信息是什么样子的。

# 如果需要统计内存事件信息,需要开启内存事件采集器

·OWNER_THREAD_ID,OWNER_EVENT_ID:这些列表示创建prepare语句的线程ID和事件ID。

*************************** 1. row
***************************

– END –

*************************** 1. row
***************************

+————-+———————+——————-+

| prepared_statements_instances |

1 row in set (0.00 sec)

1 row in set (0.00 sec)

·rwlock_instances:wait sync相关的lock对象实例;

* 如果DIGEST =
NULL行的COUNT_STAR列值占据整个表中所有统计信息的COUNT_STAR列值的比例大于0%,则表示存在由于该表限制已满导致部分语句统计信息无法分类保存,如果你需要保存所有语句的统计信息,可以在server启动之前调整系统变量performance_schema_digests_size的值,默认大小为200

·ATTR_NAME:连接属性名称;

*
如果一个线程开启了采集功能,但是内存相关的instruments没有启用,则该内存释放操作不会被监控到,统计数据也不会发生改变

+——-+———————+——————-+

AVG _TIMER_WAIT: 0

hosts表包含客户端连接到MySQL
server的主机信息,一个主机名对应一行记录,该表针对主机作为唯一标识进行统计当前连接数和总连接数。server启动时,表的大小会自动调整。
要显式设置该表大小,可以在server启动之前设置系统变量performance_schema_hosts_size的值。如果该变量设置为0,则表示禁用hosts表统计信息。

OBJECT_SCHEMA: sys

下面对这些表分别进行介绍。

# memory_summary_global_by_event_name表

1row inset ( 0. 00sec)

USER: root

一个连接可见的连接属性集合取决于与mysql
server建立连接的客户端平台类型和MySQL连接的客户端类型。

# memory_summary_by_thread_by_event_name表

·OBJECT_SCHEMA:该锁来自于哪个库级别的对象;

EVENT_NAME: memory/innodb/fil0fil

* _pid:客户端进程ID

SUM_TIMER_WAIT: 234614735000

session_account_connect_attrs表字段含义:

# events_stages_summary_by_host_by_event_name表

* _platform:客户端机器平台(例如,x86_64)

……

3rows inset ( 0. 00sec)

| Tables_in_performance_schema (%prepare%) |

| table_io_waits_summary_by_index_usage |#
按照每个索引进行统计的表I/O等待事件

events_statements_summary_by_digest:按照每个库级别对象和语句事件的原始语句文本统计值(md5
hash字符串)进行统计,该统计值是基于事件的原始语句文本进行精炼(原始语句转换为标准化语句),每行数据中的相关数值字段是具有相同统计值的统计结果。

+————————————+————————————–+————+

*************************** 1. row
***************************

AVG _TIMER_WAIT: 3496961251500

EVENT_NAME: transaction

·
COUNT_REPREPARE:该行信息对应的prepare语句在内部被重新编译的次数,重新编译prepare语句之后,之前的相关统计信息就不可用了,因为这些统计信息是作为语句执行的一部分被聚合到表中的,而不是单独维护的。

1 row in set (0.00 sec)

3.文件I/O事件统计

COUNT_STAR: 7

metadata_locks表字段含义如下:

HOST: localhost

+————————————————+

*************************** 1. row
***************************

admin@localhost : performance_schema 09 :50:01> select * from
users;

关于内存事件的行为监控设置与注意事项

*
COUNT_MISC,SUM_TIMER_MISC,MIN_TIMER_MISC,AVG_TIMER_MISC,MAX_TIMER_MISC:这些列统计了所有其他文件I/O操作,包括CREATE,DELETE,OPEN,CLOSE,STREAM_OPEN,STREAM_CLOSE,SEEK,TELL,FLUSH,STAT,FSTAT,CHSIZE,RENAME和SYNC系统调用。注意:这些文件I/O操作没有字节计数信息。

MAX _TIMER_WAIT: 0

*
COUNT_WRITE,SUM_TIMER_WRITE,MIN_TIMER_WRITE,AVG_TIMER_WRITE,MAX_TIMER_WRITE,SUM_NUMBER_OF_BYTES_WRITE:这些列统计了所有文件写操作,包括FPUTS,FPUTC,FPRINTF,VFPRINTF,FWRITE和PWRITE系统调用,还包含了这些I/O操作的数据字节数

+——————————————————–+

+————————————————-+

COUNT_STAR: 58

# socket_summary_by_event_name表

AVG _TIMER_WAIT: 0

+—————-+—————–+—————-+——————+

| memory_summary_global_by_event_name |

EVENT_NAME: wait/io/socket/sql/server_tcpip_socket

COUNT_STAR: 0

| wait/io/socket/sql/server_tcpip_socket |110667200| 1 |32| :: |3306|
ACTIVE |

*
LOW_COUNT_USED和HIGH_COUNT_USED将重置为CURRENT_COUNT_USED列值

admin@localhost : performance_schema 02:50:02> select * from
cond_instances limit 1;

COUNT_STAR: 59

01

从上面表中的示例记录信息中,我们可以看到,同样与等待事件类似,按照用户、主机、用户+主机、线程等纬度进行分组与统计的列,分组列与等待事件类似,这里不再赘述,但对于内存统计事件,统计列与其他几种事件统计列不同(因为内存事件不统计时间开销,所以与其他几种事件类型相比无相同统计列),如下:

COUNT_STAR: 1

# events_stages_summary_global_by_event_name表

通过对以下两个表执行查询,可以实现对应用程序的监控或DBA可以检测到涉及互斥体的线程之间的瓶颈或死锁信息(events_waits_current可以查看到当前正在等待互斥体的线程信息,mutex_instances可以查看到当前某个互斥体被哪个线程持有)。

USER: root

OBJECT _INSTANCE_BEGIN: 2658003840

1 row in set (0.00 sec)

Performance Schema通过metadata_locks表记录元数据锁信息:

root@localhost : performance _schema 11:08:23> select * from
events_waits _summary_by _thread_by _event_name limit 1G

当客户端连接到MySQL
server时,它的用户名和主机名都是特定的。performance_schema按照帐号、主机、用户名对这些连接的统计信息进行分类并保存到各个分类的连接信息表中,如下:

OBJECT_TYPE: PROCEDURE

(4)rwlock_instances表

root@localhost : performance _schema 11:50:46> update
setup_instruments set enabled=’yes’,timed=’yes’ where name like
‘memory/%’;

STATEMENT_ID: 1

我们先来看看这些表中记录的统计信息是什么样子的(由于单行记录较长,这里只列出events_statements_summary_by_account_by_event_name
表中的示例数据,其余表的示例数据省略掉部分相同字段)。

PS:什么是prepare语句?prepare语句实际上就是一个预编译语句,先把SQL语句进行编译,且可以设定参数占位符(例如:?符号),然后调用时通过用户变量传入具体的参数值(叫做变量绑定),如果一个语句需要多次执行而仅仅只是where条件不同,那么使用prepare语句可以大大减少硬解析的开销,prepare语句有三个步骤,预编译prepare语句,执行prepare语句,释放销毁prepare语句,prepare语句支持两种协议,前面已经提到过了,binary协议一般是提供给应用程序的mysql
c api接口方式访问,而文本协议提供给通过客户端连接到mysql
server的方式访问,下面以文本协议的方式访问进行演示说明:

Rows matched: 377 Changed: 377 Warnings: 0

+—————————————-+———————–+———–+———–+——————–+——-+——–+

每个表都有各自的一个或多个分组列,以确定如何聚合事件信息(所有表都有EVENT_NAME列,列值与setup_instruments表中NAME列值对应),如下:

MIN _TIMER_WAIT: 2971125

root@localhost : performance _schema 11:04:10> select * from
events_statements _summary_by _user_by _event_name where
COUNT_STAR!=0 limit 1G

1 rows in set (0.00 sec)

SUM _SELECT_FULL _RANGE_JOIN: 0

| /data/mysqldata1/innodb_ts/ibdata1
|wait/io/file/innodb/innodb_data_file | 3 |

# events_waits_summary_by_host_by_event_name表

MAX_TIMER_READ: 0

EVENT _NAME: wait/synch/mutex/sql/TC_LOG _MMAP::LOCK_tc

instance表记录了哪些类型的对象被检测。这些表中记录了事件名称(提供收集功能的instruments名称)及其一些解释性的状态信息(例如:file_instances表中的FILE_NAME文件名称和OPEN_COUNT文件打开次数),instance表主要有如下几个:

admin@localhost : performance_schema 06:27:58> show tables like
‘%events_statements_summary%’;

·对于Unix
domain套接字(server_unix_socket)的server端监听器,端口为0,IP为空串;

6rows inset ( 0. 00sec)

* _client_version:客户端libmysql库版本

……

admin@localhost : performance_schema 03:23:47> select * from
mutex_instances limit 1;

| events_stages_summary_by_thread_by_event_name |

·ATTR_VALUE:连接属性值;

……

·socket_summary_by_instance:针对每个socket实例的所有 socket
I/O操作,这些socket操作相关的操作次数、时间和发送接收字节信息由wait/io/socket/*
instruments产生。但当连接中断时,在该表中对应socket连接的信息行将被删除(这里的socket是指的当前活跃的连接创建的socket实例)

内存统计表允许使用TRUNCATE
TABLE语句。使用truncate语句时有如下行为:

AVG _TIMER_READ: 56688392

EVENT_NAME: stage/sql/After create

·events_waits_current:查看线程正在等待什么rwlock;

COUNT_ALLOC: 158

MAX _TIMER_READ: 56688392

*
此外,按照帐户,主机,用户或线程分类统计的内存统计表或memory_summary_global_by_event_name表,如果在对其依赖的accounts、hosts、users表执行truncate时,会隐式对这些内存统计表执行truncate语句

1 row in set (0.00 sec)

注意:这些表只针对事务事件信息进行统计,即包含且仅包含setup_instruments表中的transaction采集器,每个事务事件在每个表中的统计记录行数需要看如何分组(例如:按照用户分组统计的表中,有多少个活跃用户,表中就会有多少条相同采集器的记录),另外,统计计数器是否生效还需要看transaction采集器是否启用。

·MySQL
Connector/J定义了如下属性:

CURRENT _NUMBER_OF _BYTES_USED: 0

SUM _TIMER_WAIT: 56688392

root@localhost : performance _schema 11:02:15> select * from
events_statements _summary_by _host_by _event_name where
COUNT_STAR!=0 limit 1G

1. 连接信息统计表

对于内存块的释放,按照如下规则进行检测与聚合:

| Tables_in_performance_schema (%file_summary%) |

*************************** 1. row
***************************

+————————————–+———————–+———————+

……

(1)accounts表

MIN _TIMER_WAIT: 0

rwlock_instances表列出了server执行rwlock
instruments时performance_schema所见的所有rwlock(读写锁)实例。rwlock是在代码中使用的同步机制,用于强制在给定时间内线程可以按照某些规则访问某些公共资源。可以认为rwlock保护着这些资源不被其他线程随意抢占。访问模式可以是共享的(多个线程可以同时持有共享读锁)、排他的(同时只有一个线程在给定时间可以持有排他写锁)或共享独占的(某个线程持有排他锁定时,同时允许其他线程执行不一致性读)。共享独占访问被称为sxlock,该访问模式在读写场景下可以提高并发性和可扩展性。

执行该语句时有如下行为:

*
performance_schema截断超过长度的属性数据,并增加Performance_schema_session_connect_attrs_lost状态变量值,截断一次增加一次,即该变量表示连接属性被截断了多少次

当一个可被监控的内存块N被分配时,performance_schema会对内存统计表中的如下列进行更新:

·外部锁对应存储引擎层中的锁。通过调用handler::external_lock()函数来实现。(官方手册上说有一个OPERATION列来区分锁类型,该列有效值为:read
external、write external。但在该表的定义上并没有看到该字段)

# memory_summary_by_account_by_event_name表

该表的分组列与table_io_waits_summary_by_table表相同

+——————————————+

+————-+—————+————-+———————–+—————–+—————-+—————+—————+

下一篇将为大家分享
《数据库对象事件统计与属性统计 | performance_schema全方位介绍》
,谢谢你的阅读,我们不见不散!返回搜狐,查看更多

EVENT_NAME: wait/io/socket/sql/server_tcpip_socket

澳门皇家赌场网址 1

OBJECT_TYPE: TABLE

+——————————————————-+

+————————————————+

*
HIGH_COUNT_USED和HIGH_NUMBER_OF_BYTES_USED是较高的高水位估算值。performance_schema输出的低水位值可以保证统计表中的内存分配次数和内存大于或等于当前server中真实的内存分配值

·当已授予的锁或挂起的锁请求被杀死时,其锁状态从GRANTED或PENDING更新为KILLED;

COUNT_STAR: 0

+——————————————————-+———————–+—————————+———————-+

*************************** 1. row
***************************

AVG _TIMER_READ _WITH_SHARED_LOCKS: 0

SUM_WARNINGS: 0

FILE_NAME: /data/mysqldata1/innodb_ts/ibdata1

EVENT_NAME: transaction

元数据锁instruments使用wait/lock/metadata/sql/mdl,默认未开启。

责任编辑:

·LOCK_STATUS:元数据锁子系统的锁状态。有效值为:PENDING、GRANTED、VICTIM、TIMEOUT、KILLED、PRE_ACQUIRE_NOTIFY、POST_RELEASE_NOTIFY。performance_schema根据不同的阶段更改锁状态为这些值;

注意:这些表只针对阶段事件信息进行统计,即包含setup_instruments表中的stage/%开头的采集器,每个阶段事件在每个表中的统计记录行数需要看如何分组(例如:按照用户分组统计的表中,有多少个活跃用户,表中就会有多少条相同采集器的记录),另外,统计计数器是否生效还需要看setup_instruments表中相应的阶段事件采集器是否启用。

·TOTAL_CONNECTIONS:某主机的总连接数。

SUM _CREATED_TMP_TABLES: 10

file_instances表字段含义如下:

AVG _TIMER_WAIT: 0

| OBJECT_TYPE |OBJECT_SCHEMA | OBJECT_NAME |OBJECT_INSTANCE_BEGIN |
OWNER_THREAD_ID |OWNER_EVENT_ID | INTERNAL_LOCK |EXTERNAL_LOCK |

# events_transactions_summary_by_host_by_event_name表

admin@localhost : performance_schema 09 :49:41> select * from
hosts;

1 row in set (0.01 sec)

·ORDINAL_POSITION:将连接属性添加到连接属性集的顺序。

由于performance_schema表内存限制,所以维护了DIGEST
= NULL的特殊行。
当events_statements_summary_by_digest表限制容量已满的情况下,且新的语句统计信息在需要插入到该表时又没有在该表中找到匹配的DIGEST列值时,就会把这些语句统计信息都统计到
DIGEST =
NULL的行中。此行可帮助您估算events_statements_summary_by_digest表的限制是否需要调整

套接字统计表允许使用TRUNCATE
TABLE语句(除events_statements_summary_by_digest之外),只将统计列重置为零,而不是删除行。

性能事件统计表在setup_consumers表中只受控于”global_instrumentation”配置项,也就是说一旦”global_instrumentation”配置项关闭,所有的统计表的统计条目都不执行统计(统计列值为0);

·TIMER_PREPARE:执行prepare语句本身消耗的时间。

USER: root

按照与table_io_waits_summary_by_table的分组列+INDEX_NAME列进行分组,INDEX_NAME有如下几种

HOST: localhost

OWNER_OBJECT_NAME: NULL

SUM _TIMER_WAIT: 0

·socket_summary_by_event_name:针对每个socket I/O
instruments,这些socket操作相关的操作次数、时间和发送接收字节信息由wait/io/socket/*
instruments产生(这里的socket是指的当前活跃的连接创建的socket实例)

+————————————————————+

OWNER_THREAD_ID: 48

SUM_xxx:针对events_statements_*事件记录表中相应的xxx列进行统计。例如:语句统计表中的SUM_LOCK_TIME和SUM_ERRORS列对events_statements_current事件记录表中LOCK_TIME和ERRORS列进行统计

……

COUNT_STAR: 7

users表包含连接到MySQL
server的每个用户的连接信息,每个用户一行。该表将针对用户名作为唯一标识进行统计当前连接数和总连接数,server启动时,表的大小会自动调整。
要显式设置该表大小,可以在server启动之前设置系统变量performance_schema_users_size的值。该变量设置为0时表示禁用users统计信息。

events_waits_summary_by_thread_by_event_name表:按照列THREAD_ID、EVENT_NAME进行分组事件信息

| EVENT_NAME |OBJECT_INSTANCE_BEGIN | THREAD_ID |SOCKET_ID | IP
|PORT | STATE |

……

MIN_TIMER_READ: 15213375

SUM _NUMBER_OF _BYTES_FREE: 3296

rwlock_instances表字段含义如下:

COUNT_STAR: 0

MIN _TIMER_READ _WITH_SHARED_LOCKS: 0

SUM _TIMER_WAIT: 0

metadata_locks表是只读的,无法更新。默认保留行数会自动调整,如果要配置该表大小,可以在server启动之前设置系统变量performance_schema_max_metadata_locks的值。

LOW_COUNT_USED: 0

EVENT_NAME: wait/io/file/innodb/innodb_data_file

SUM _SELECT_FULL_JOIN: 21

| table_io_waits_summary_by_table |#
按照每个表进行统计的表I/O等待事件

# events_waits_summary_global_by_event_name表

上一篇 《事件统计 |
performance_schema全方位介绍》详细介绍了performance_schema的事件统计表,但这些统计数据粒度太粗,仅仅按照事件的5大类别+用户、线程等维度进行分类统计,但有时候我们需要从更细粒度的维度进行分类统计,例如:某个表的IO开销多少、锁开销多少、以及用户连接的一些属性统计信息等。此时就需要查看数据库对象事件统计表与属性统计表了。今天将带领大家一起踏上系列第五篇的征程(全系共7个篇章),本期将为大家全面讲解performance_schema中对象事件统计表与属性统计表。下面,请跟随我们一起开始performance_schema系统的学习之旅吧~

可通过如下语句查看语句事件统计表:

· 对于通过Unix
domain套接字(client_connection)的客户端连接,端口为0,IP为空串;

root@localhost : performance _schema 12:34:43> select * from
events_statements _summary_by_programG;

session_account_connect_attrs表仅包含当前连接及其相关联的其他连接的连接属性。要查看所有会话的连接属性,请查看session_connect_attrs表。

* COUNT_FREE:增加1

与objects_summary_global_by_type
表统计信息类似,表I/O等待和锁等待事件统计信息更为精细,细分了每个表的增删改查的执行次数,总等待时间,最小、最大、平均等待时间,甚至精细到某个索引的增删改查的等待时间,表IO等待和锁等待事件instruments(wait/io/table/sql/handler和wait/lock/table/sql/handler
)默认开启,在setup_consumers表中无具体的对应配置,默认表IO等待和锁等待事件统计表中就会统计相关事件信息。包含如下几张表:

*
CURRENT_NUMBER_OF_BYTES_USED:增加N

·FILE_NAME:磁盘文件名称;

我们先来看看这些表中记录的统计信息是什么样子的。

……

| events_waits_summary_by_host_by_event_name |

admin@localhost : performance_schema 10:49:34> select * from
socket_instances;

COUNT_STAR: 1

MAX_TIMER_READ_NORMAL: 0

EVENT_NAME: statement/sql/select

IP:PORT列组合值可用于标识一个连接。该组合值在events_waits_xxx表的“OBJECT_NAME”列中使用,以标识这些事件信息是来自哪个套接字连接的:

| events_waits_summary_by_account_by_event_name |

该表包含有关内部和外部锁的信息:

* COUNT_ALLOC:增加1

MAX_TIMER_WAIT: 18446696808701862260

PS2:关于存储程序监控行为:对于在setup_objects表中启用了instruments的存储程序类型,events_statements_summary_by_program将维护存储程序的统计信息,如下所示:

|4| _pid |3766| 2 |

1 row in set (0.00 sec)

1.数据库表级别对象等待事件统计

EVENT_NAME: memory/performance_schema/mutex_instances

+———————————————–+

+————————————————————–+

| wait/io/socket/sql/server_unix_socket |110667520| 1 |34| |0| ACTIVE
|

检测内存工作负载峰值、内存总体的工作负载稳定性、可能的内存泄漏等是至关重要的。

·IP:客户端IP地址。该值可以是IPv4或IPv6地址,也可以是空串,表示这是一个Unix套接字文件连接;

COUNT_ALLOC: 193

文件I/O事件统计表只记录等待事件中的IO事件(不包含table和socket子类别),文件I/O事件instruments默认开启,在setup_consumers表中无具体的对应配置。它包含如下两张表:

root@localhost : performance _schema 11:55:36> select * from
memory_summary _by_user _by_event _name where COUNT_ALLOC!=0
limit 1G

performance_schema通过table_handles表记录表锁信息,以对当前每个打开的表所持有的表锁进行追踪记录。table_handles输出表锁instruments采集的内容。这些信息显示server中已打开了哪些表,锁定方式是什么以及被哪个会话持有。

events_statements_summary_by_digest表有自己额外的统计列:

我们先来看看表中记录的统计信息是什么样子的。

*
FIRST_SEEN,LAST_SEEN:显示某给定语句第一次插入
events_statements_summary_by_digest表和最后一次更新该表的时间戳

我们先来看看表中记录的统计信息是什么样子的。

events_statements_summary_by_host_by_event_name:按照每个主机名和事件名称进行统计的Statement事件

+————————————–+———————–+———————+

内存行为监控设置:

| NAME |OBJECT_INSTANCE_BEGIN |

1 row in set (0.00 sec)

·许多MySQL客户端程序设置的属性值与客户端名称相等的一个program_name属性。例如:mysqladmin和mysqldump分别将program_name连接属性设置为mysqladmin和mysqldump,另外一些MySQL客户端程序还定义了附加属性:

*************************** 1. row
***************************

(2)session_connect_attrs表

MIN_TIMER_WAIT:给定计时事件的最小等待时间

·WRITE_LOCKED_BY_THREAD_ID:当一个线程当前在独占(写入)模式下持有一个rwlock时,WRITE_LOCKED_BY_THREAD_ID列可以查看到持有该锁的线程THREAD_ID,如果没有被任何线程持有则该列为NULL;

EVENT _NAME: wait/synch/mutex/sql/TC_LOG _MMAP::LOCK_tc

·已被死锁检测器检测到并被杀死的锁,或者锁请求超时正在等待锁请求会话被丢弃。

1 row in set (0.00 sec)

1 row in set (0.00 sec)

| memory_summary_by_thread_by_event_name |

| socket_summary_by_event_name |

HOST: NULL

admin@localhost : performance _schema 11:10:42> select * from
objects_summary _global_by _type where SUM_TIMER_WAIT!=0G;

# events_statements_summary_by_user_by_event_name表

·EVENT_NAME:生成事件信息的instruments
名称。与setup_instruments表中的NAME值对应;

| events_waits_summary_by_thread_by_event_name |

·对于已接受的连接,performance_schema根据performance_schema_session_connect_attrs_size系统变量的值检查统计连接属性大小。如果属性大小超过此值,则会执行以下操作:

#
events_statements_summary_by_program表(需要调用了存储过程或函数之后才会有数据)

+———————————-+———————–+

events_statements_summary_global_by_event_name:按照每个事件名称进行统计的Statement事件

……

SUM_NO_INDEX_USED: 42

*
events_waits_current表中可以查看到当前正在等待互斥体的线程时间信息(例如:TIMER_WAIT列表示已经等待的时间)

EVENT _NAME: wait/synch/mutex/sql/TC_LOG _MMAP::LOCK_tc

admin@localhost : performance_schema 02:53:40> select * from
file_instances where OPEN_COUNT> 0limit 1;

EVENT _NAME: wait/synch/mutex/sql/TC_LOG _MMAP::LOCK_tc

OBJECT_NAME: test

1 row in set (0.00 sec)

根据请求锁的线程数以及所请求的锁的性质,访问模式有:独占模式、共享独占模式、共享模式、或者所请求的锁不能被全部授予,需要先等待其他线程完成并释放。

| 等待事件统计表

· OWNER_THREAD_ID:持有该handles锁的线程ID;

MIN _TIMER_WAIT: 0

·当请求元数据锁不能立即获得时,将插入状态为PENDING的锁信息行;

PS:对这些表使用truncate语句,影响与等待事件类似。

MAX _TIMER_WAIT: 121025235946125

SUM _NUMBER_OF _BYTES_ALLOC: 3296

* _thread:客户端线程ID(仅适用于Windows)

*
如果该线程在threads表中没有开启采集功能或者说在setup_instruments中对应的instruments没有开启,则该线程分配的内存块不会被监控

·PS:cond_instances表不允许使用TRUNCATE TABLE语句。

SUM_ROWS_EXAMINED: 39718

·OBJECT_NAME:instruments对象的名称,表级别对象;

COUNT _READ_ONLY: 1

table_io_waits_summary_by_table表:

EVENT_NAME: memory/innodb/fil0fil

·OBJECT_INSTANCE_BEGIN:mutex instruments实例的内存地址;

| events_waits_summary_by_user_by_event_name |

2rows inset ( 0. 00sec)

| events_transactions_summary_by_host_by_event_name |

* _thread:客户端线程ID(仅适用于Windows)

1 row in set (0.00 sec)

·每个文件I/O事件统计表有如下统计字段:

1 row in set (0.00 sec)

这些表列出了等待事件中的sync子类事件相关的对象、文件、连接。其中wait
sync相关的对象类型有三种:cond、mutex、rwlock。每个实例表都有一个EVENT_NAME或NAME列,用于显示与每行记录相关联的instruments名称。instruments名称可能具有多个部分并形成层次结构,详见”配置详解
| performance_schema全方位介绍”。

SUM _TIMER_WAIT: 0

需要持有互斥体的工作负载可以被认为是处于一个关键位置的工作,多个查询可能需要以序列化的方式(一次一个串行)执行这个关键部分,但这可能是一个潜在的性能瓶颈。

COUNT_STAR: 53

OBJECT_TYPE: TABLE

SUM _SORT_MERGE_PASSES: 0

这些连接表都允许使用TRUNCATE TABLE语句:

LAST_SEEN: 2018-05-20 10:24:42

· OBJECT_INSTANCE_BEGIN:instruments condition的内存地址;

  • SUM_NUMBER_OF_BYTES_FREE

performance_schema通过如下表来记录相关的锁信息:

PS1:

| wait/synch/mutex/mysys/THR_LOCK_heap |32576832| NULL |

OBJECT _INSTANCE_BEGIN: 32492032

·内部锁对应SQL层中的锁。是通过调用thr_lock()函数来实现的。(官方手册上说有一个OPERATION列来区分锁类型,该列有效值为:read
normal、read with shared locks、read high priority、read no
insert、write allow write、write concurrent insert、write delayed、write
low priority、write normal。但在该表的定义上并没有看到该字段)

*
如果给定语句的统计信息行在events_statements_summary_by_digest表中没有已存在行,且events_statements_summary_by_digest表空间限制已满的情况下,则该语句的统计信息将添加到DIGEST
列值为
NULL的特殊“catch-all”行,如果该特殊行不存在则新插入一行,FIRST_SEEN和LAST_SEEN列为当前时间。如果该特殊行已存在则更新该行的信息,LAST_SEEN为当前时间

OBJECT_NAME: test

# events_waits_summary_by_instance表

OBJECT_SCHEMA: xiaoboluo

# events_statements_summary_by_thread_by_event_name表

当在server中同时执行的两个线程(例如,同时执行查询的两个用户会话)需要访问相同的资源(例如:文件、缓冲区或某些数据)时,这两个线程相互竞争,因此第一个成功获取到互斥体的查询将会阻塞其他会话的查询,直到成功获取到互斥体的会话执行完成并释放掉这个互斥体,其他会话的查询才能够被执行。

| memory_summary_by_host_by_event_name |

·DEALLOCATE PREPARE步骤:语法 {DEALLOCATE | DROP} PREPARE
stmt_name,示例:drop prepare stmt;
,此时在prepared_statements_instances表中对应的prepare示例记录自动删除。

从上面表中的示例记录信息中,我们可以看到,同样与等待事件类似,按照用户、主机、用户+主机、线程等纬度进行分组与统计的列,这些列的含义与等待事件类似,这里不再赘述,但对于事务统计事件,针对读写事务和只读事务还单独做了统计(xx_READ_WRITE和xx_READ_ONLY列,只读事务需要设置只读事务变量transaction_read_only=on才会进行统计)。

·prepare语句执行:为已检测的prepare语句实例执行COM_STMT_EXECUTE或SQLCOM_PREPARE命令,同时会更新prepare_statements_instances表中对应的行信息。

| memory_summary_by_account_by_event_name |

我们先来看看表中记录的统计信息是什么样子的。

MIN _TIMER_WAIT: 0

*************************** 1. row
***************************

MAX _TIMER_WAIT: 0

| PROCESSLIST_ID |ATTR_NAME | ATTR_VALUE |ORDINAL_POSITION |

# events_statements_summary_by_digest表

3 rows in set (0.00 sec)

THREAD_ID: 37

·当一个线程正在等待某事发生时,condition
NAME列显示了线程正在等待什么condition(但该表中并没有其他列来显示对应哪个线程等信息),但是目前还没有直接的方法来判断某个线程或某些线程会导致condition发生改变。

events_waits_summary_by_host_by_event_name表:按照列EVENT_NAME、HOST进行分组事件信息

·file_instances:文件对象实例;

HOST: NULL

| NAME |OBJECT_INSTANCE_BEGIN | LOCKED_BY_THREAD_ID |

MIN _TIMER_READ_ONLY: 57571000

MIN_TIMER_READ: 0

EVENT_NAME: wait/synch/mutex/mysys/THR_LOCK_heap

| file_summary_by_event_name |

| events_stages_summary_global_by_event_name |

* file_summary_by_event_name表:按照EVENT_NAME列进行分组 ;

*************************** 1. row
***************************

3rows inset ( 0. 00sec)

1 row in set (0.00 sec)

·当互斥体被销毁时,从mutex_instances表中删除相应的互斥体行。

EVENT_NAME: stage/sql/After create

·file_summary_by_instance:按照每个文件实例(对应具体的每个磁盘文件,例如:表sbtest1的表空间文件sbtest1.ibd)进行统计的文件IO等待事件

SUM _NO_GOOD _INDEX_USED: 0

+——-+———————+——————-+

*************************** 1. row
***************************

admin@localhost : performance_schema 05:47:55> select * from
table_handles;

在上一篇《事件记录 |
performance_schema全方位介绍”》中,我们详细介绍了performance_schema的事件记录表,恭喜大家在学习performance_schema的路上度过了两个最困难的时期。现在,相信大家已经比较清楚什么是事件了,但有时候我们不需要知道每时每刻产生的每一条事件记录信息,
例如:我们希望了解数据库运行以来一段时间的事件统计数据,这个时候就需要查看事件统计表了。今天将带领大家一起踏上系列第四篇的征程(全系共7个篇章),在这一期里,我们将为大家全面讲解performance_schema中事件统计表。统计事件表分为5个类别,分别为等待事件、阶段事件、语句事件、事务事件、内存事件。下面,请跟随我们一起开始performance_schema系统的学习之旅吧。

(2)users表

……

file_instances表不允许使用TRUNCATE TABLE语句。

Query OK, 377 rows affected (0.00 sec)

EVENT_NAME: wait/io/socket/sql/client_connection

HOST: NULL

·SQL_TEXT:prepare的语句文本,带“?”的表示是占位符标记,后续execute语句可以对该标记进行传参。

MAX _TIMER_WAIT: 0

TIMER_PREPARE: 896167000

MIN _TIMER_WAIT: 0

从上面表中的记录信息我们可以看到(与文件I/O事件统计类似,两张表也分别按照socket事件类型统计与按照socket
instance进行统计)

1 row in set (0.00 sec)

| 4 |_client_version | 5.7.18 |3|

*************************** 1. row
***************************

EVENT_NAME: wait/io/socket/sql/server_unix_socket

性能事件统计表中的数据条目是不能删除的,只能把相应统计字段清零;

MAX_TIMER_READ: 9498247500

COUNT_STAR:事件被执行的数量。此值包括所有事件的执行次数,需要启用等待事件的instruments

相关文章