[转帖]py_innodb_page_info.py工具使用

py,innodb,page,info,工具,使用 · 浏览次数 : 0

小编点评

## Python 入野页面信息工具使用指南 **1. Introduction** * 介绍 Python 入野页面信息工具 (py_innodb_page_info) 的功能。 * 显示工具使用可的选项和变量。 **2. Usage Guide** * 使用示例展示如何读取和解析数据库文件。 * 显示如何指定页面偏移量和页类型。 * 示例展示如何获取页面信息以及数据描述。 **3. Example** * 读取一个数据库文件 (test_init_table.ibd) 的第一个页面。 * 获取页面信息,包括页面类型、偏移量和数据描述。 **4. Variable Definition** * 显示一些可定义的变量,例如页面偏移量、页类型和数据描述。 * 使用示例展示如何定义和使用这些变量。 **5. Options and Variables** * 显示工具支持的选项和变量。 * 使用示例展示如何设置选项和变量。 **6. Example Usage** * 读取一个数据库文件 (test_init_table.ibd) 的第一个页面。 * 获取页面信息,包括页面类型、偏移量和数据描述。 * 打印页面类型、偏移量和数据描述。 **7. Conclusion** * 回收所有重要信息。 * 展示工具的使用可的选项和变量。 **8. References** * Linux 安装 Python3_Alex_Sheng_Sea 的博客文章。 * py_innodb_page_info 工具使用指南文章。

正文

目录

一、Linux安装Python3

1. 解压包

2. 安装环境

3. 生成编译脚本

4. 检查python3.10的编译器

5. 建立Python3和pip3的软链

6. 添加到PATH

7. 验证Python3和pip3是否正常

二、py_innodb_page_info.py工具

1. py_innodb_page_info.py

2. mylib.py

3. include.py

三、使用py_innodb_page_info.py工具

四、参考资料


一、Linux安装Python3

1. 解压包

tar -zxvf Python-3.10.5.tgz

2. 安装环境

yum install gcc

yum install libffi-devel -y

3. 生成编译脚本

        进入解压目录下,使用下述命令来配置编译目录。注意--prefix路径是当前解压目录。

./configure --prefix=/home/python3/Python-3.10.5

        编译并安装,若下图所示:

make & make install 

4. 检查python3.10的编译器

        进入bin目录下执行以下命令:

./python3.10

5. 建立Python3和pip3的软链

        建立Python3和pip3的软链,若以下命令:

ln -s /home/python3/Python-3.10.5/bin/python3 /usr/bin/python3

ln -s /home/python3/Python-3.10.5/bin/pip3 /usr/bin/pip3 

6. 添加到PATH

  1. 进入:vim /etc/profile
  2. python的bin加入到PATH中:export PATH=$PATH:$JAVA_HOME/bin:/home/python3/Python-3.10.5/bin
  3. 重启profile:source ~/.bash_profile

7. 验证Python3和pip3是否正常

python3 -V

pip3 -V

二、py_innodb_page_info.py工具

        此工具是《MySQL技术内幕 InnoDB存储引擎》作者姜承尧写的用来分析表空间中的各页的类型和信息,用python编写

        此工具由三个文件组成:py_innodb_page_info.py、mylib.py、include.py。注意:需要放在同一个目录下

1. py_innodb_page_info.py

  1. #! /usr/bin/env python
  2. #encoding=utf-8
  3. import mylib
  4. from sys import argv
  5. from mylib import myargv
  6. if __name__ == '__main__':
  7. myargv = myargv(argv)
  8. if myargv.parse_cmdline() == 0:
  9. pass
  10. else:
  11. mylib.get_innodb_page_type(myargv)

2. mylib.py

  1. #encoding=utf-8
  2. import os
  3. import include
  4. from include import *
  5. TABLESPACE_NAME='/home/MySQL5.7/mysql-5.7.35/data/test_mysql/page_structure.ibd'
  6. VARIABLE_FIELD_COUNT = 1
  7. NULL_FIELD_COUNT = 0
  8. class myargv(object):
  9. def __init__(self, argv):
  10. self.argv = argv
  11. self.parms = {}
  12. self.tablespace = ''
  13. def parse_cmdline(self):
  14. argv = self.argv
  15. if len(argv) == 1:
  16. print 'Usage: python py_innodb_page_info.py [OPTIONS] tablespace_file'
  17. print 'For more options, use python py_innodb_page_info.py -h'
  18. return 0
  19. while argv:
  20. if argv[0][0] == '-':
  21. if argv[0][1] == 'h':
  22. self.parms[argv[0]] = ''
  23. argv = argv[1:]
  24. break
  25. if argv[0][1] == 'v':
  26. self.parms[argv[0]] = ''
  27. argv = argv[1:]
  28. else:
  29. self.parms[argv[0]] = argv[1]
  30. argv = argv[2:]
  31. else:
  32. self.tablespace = argv[0]
  33. argv = argv[1:]
  34. if self.parms.has_key('-h'):
  35. print 'Get InnoDB Page Info'
  36. print 'Usage: python py_innodb_page_info.py [OPTIONS] tablespace_file\n'
  37. print 'The following options may be given as the first argument:'
  38. print '-h help '
  39. print '-o output put the result to file'
  40. print '-t number thread to anayle the tablespace file'
  41. print '-v verbose mode'
  42. return 0
  43. return 1
  44. def mach_read_from_n(page,start_offset,length):
  45. ret = page[start_offset:start_offset+length]
  46. return ret.encode('hex')
  47. def get_innodb_page_type(myargv):
  48. f=file(myargv.tablespace,'rb')
  49. fsize = os.path.getsize(f.name)/INNODB_PAGE_SIZE
  50. ret = {}
  51. for i in range(fsize):
  52. page = f.read(INNODB_PAGE_SIZE)
  53. page_offset = mach_read_from_n(page,FIL_PAGE_OFFSET,4)
  54. page_type = mach_read_from_n(page,FIL_PAGE_TYPE,2)
  55. if myargv.parms.has_key('-v'):
  56. if page_type == '45bf':
  57. page_level = mach_read_from_n(page,FIL_PAGE_DATA+PAGE_LEVEL,2)
  58. print "page offset %s, page type <%s>, page level <%s>"%(page_offset,innodb_page_type[page_type],page_level)
  59. else:
  60. print "page offset %s, page type <%s>"%(page_offset,innodb_page_type[page_type])
  61. if not ret.has_key(page_type):
  62. ret[page_type] = 1
  63. else:
  64. ret[page_type] = ret[page_type] + 1
  65. print "Total number of page: %d:"%fsize
  66. for type in ret:
  67. print "%s: %s"%(innodb_page_type[type],ret[type])

3. include.py

  1. #encoding=utf-8
  2. INNODB_PAGE_SIZE = 16*1024*1024
  3. # Start of the data on the page
  4. FIL_PAGE_DATA = 38
  5. FIL_PAGE_OFFSET = 4 # page offset inside space
  6. FIL_PAGE_TYPE = 24 # File page type
  7. # Types of an undo log segment */
  8. TRX_UNDO_INSERT = 1
  9. TRX_UNDO_UPDATE = 2
  10. # On a page of any file segment, data may be put starting from this offset
  11. FSEG_PAGE_DATA = FIL_PAGE_DATA
  12. # The offset of the undo log page header on pages of the undo log
  13. TRX_UNDO_PAGE_HDR = FSEG_PAGE_DATA
  14. PAGE_LEVEL = 26 #level of the node in an index tree; the leaf level is the level 0 */
  15. innodb_page_type={
  16. '0000':u'Freshly Allocated Page',
  17. '0002':u'Undo Log Page',
  18. '0003':u'File Segment inode',
  19. '0004':u'Insert Buffer Free List',
  20. '0005':u'Insert Buffer Bitmap',
  21. '0006':u'System Page',
  22. '0007':u'Transaction system Page',
  23. '0008':u'File Space Header',
  24. '0009':u'扩展描述页',
  25. '000a':u'Uncompressed BLOB Page',
  26. '000b':u'1st compressed BLOB Page',
  27. '000c':u'Subsequent compressed BLOB Page',
  28. '45bf':u'B-tree Node'
  29. }
  30. innodb_page_direction={
  31. '0000': 'Unknown(0x0000)',
  32. '0001': 'Page Left',
  33. '0002': 'Page Right',
  34. '0003': 'Page Same Rec',
  35. '0004': 'Page Same Page',
  36. '0005': 'Page No Direction',
  37. 'ffff': 'Unkown2(0xffff)'
  38. }
  39. INNODB_PAGE_SIZE=1024*16

三、使用py_innodb_page_info.py工具

        进入py_innodb_page_info.py所在的目录下,使用以下命令:

python py_innodb_page_info.py -v /home/MySQL5.7/mysql-5.7.35/data/test_mysql/test_init_table.ibd

  1. [root@488c1daa7967 py_innodb_page_info]#
  2. [root@488c1daa7967 py_innodb_page_info]# pwd
  3. /home/py_innodb_page_info
  4. [root@488c1daa7967 py_innodb_page_info]#
  5. [root@488c1daa7967 py_innodb_page_info]#
  6. [root@488c1daa7967 py_innodb_page_info]# python py_innodb_page_info.py -v /home/MySQL5.7/mysql-5.7.35/data/test_mysql/test_init_table.ibd
  7. page offset 00000000, page type <File Space Header>
  8. page offset 00000001, page type <Insert Buffer Bitmap>
  9. page offset 00000002, page type <File Segment inode>
  10. page offset 00000003, page type <B-tree Node>, page level <0000>
  11. page offset 00000000, page type <Freshly Allocated Page>
  12. page offset 00000000, page type <Freshly Allocated Page>
  13. Total number of page: 6:
  14. Freshly Allocated Page: 2
  15. Insert Buffer Bitmap: 1
  16. File Space Header: 1
  17. B-tree Node: 1
  18. File Segment inode: 1
内容描述
page offset

1. 该页在表空间的偏移量;

2. 00000003页:3 * 16KB = 49152 = 0xc000,

    打开.ibd文件,找到0xc000,就是00000003页的起始位置。

page type

页的类型,其中:

1. B-tree Node:B+树节点页,page level <0000>是叶子节点;

                                              其他是非叶子节点;

    Freshly Allocated Page:最新分配的页(空闲页);

    Insert Buffer Bitmap:插入缓冲Bitmap页;

page level

1. B+树的高度;

2. <0000>是叶子节点;非0是非叶子节点

Total number of page表空间的页总数
Freshly Allocated Page表空间的空闲页总数
Insert Buffer Bitmap插入缓冲Bitmap的页数
File Space HeaderFile Space Header的页数
B-tree NodeB+树节点的页数量(叶子节点 + 非叶子节点)
File Segment inodeFile Segment inode的页数

四、参考资料

Linux 安装Python3_Alex_Sheng_Sea的博客-CSDN博客_linux安装python

Download Python | Python.org

py_innodb_page_info工具使用_Hehuyi_In的博客-CSDN博客_py_innodb_page_info

文章知识点与官方知识档案匹配,可进一步学习相关知识

与[转帖]py_innodb_page_info.py工具使用相似的内容:

[转帖]py_innodb_page_info.py工具使用

目录 一、Linux安装Python3 1. 解压包 2. 安装环境 3. 生成编译脚本 4. 检查python3.10的编译器 5. 建立Python3和pip3的软链 6. 添加到PATH 7. 验证Python3和pip3是否正常 二、py_innodb_page_info.py工具 1. p

[转帖]超详细的解决ModuleNotFoundError: No module named '_curses'错误的方法!!!

超详细的解决ModuleNotFoundError: No module named '_curses’的错误 问题描述:在写py脚本时,需要用到curses库(提供了控制字符屏幕的独立于终端的方法)。 导入的时候完全正常 Run的时候却报了这样的错误(它说找不到这个包) 本能的解决方法: 首先想到

[转帖]bcc Python Developer Tutorial

https://github.com/iovisor/bcc/blob/master/docs/tutorial_bcc_python_developer.md This tutorial is about developing bcc tools and programs using the Py

[转帖]Linux探测工具BCC(网络)

https://www.cnblogs.com/charlieroro/p/13273179.html 目录 Linux探测工具BCC(网络) Icmp的探测 TCP的探测 Icmp的探测 首先看下促使我学习bcc的这篇文章中的程序traceicmpsoftirq.py,使用该程序的本意是找出对pi

【转帖】python 安装whl文件

前言 WHL文件是以Wheel格式保存的Python安装包,Wheel是Python发行版的标准内置包格式。在本质上是一个压缩包,WHL文件中包含了Python安装的py文件和元数据,以及经过编译的pyd文件,这样就使得它可以在不具备编译环境的条件下,安装适合自己python版本的库文件。 如果要查

[转帖]

Linux ubuntu20.04 网络配置(图文教程) 因为我是刚装好的最小系统,所以很多东西都没有,在开始配置之前需要做下准备 环境准备 系统:ubuntu20.04网卡:双网卡 网卡一:供连接互联网使用网卡二:供连接内网使用(看情况,如果一张网卡足够,没必要做第二张网卡) 工具: net-to

[转帖]

https://cloud.tencent.com/developer/article/2168105?areaSource=104001.13&traceId=zcVNsKTUApF9rNJSkcCbB 前言 Redis作为高性能的内存数据库,在大数据量的情况下也会遇到性能瓶颈,日常开发中只有时刻

[转帖]ISV 、OSV、 SIG 概念

ISV 、OSV、 SIG 概念 2022-10-14 12:29530原创大杂烩 本文链接:https://www.cndba.cn/dave/article/108699 1. ISV: Independent Software Vendors “独立软件开发商”,特指专门从事软件的开发、生产、

[转帖]Redis 7 参数 修改 说明

2022-06-16 14:491800原创Redis 本文链接:https://www.cndba.cn/dave/article/108066 在之前的博客我们介绍了Redis 7 的安装和配置,如下: Linux 7.8 平台 Redis 7 安装并配置开机自启动 操作手册https://ww

[转帖]HTTPS中间人攻击原理

https://www.zhihu.com/people/bei-ji-85/posts 背景 前一段时间,公司北京地区上线了一个HTTPS防火墙,用来监听HTTPS流量。防火墙上线之前,邮件通知给管理层,我从我老大那里听说这个事情的时候,说这个有风险,然后意外地发现,很多人原来都不知道HTTPS防