pt-online-schema-change无锁变更及腾讯云的dmc数据库操作,字段加索引查询 500kb限制
pt-online-schema-change无锁变更及腾讯云的dmc数据库操作,字段加索引查询 500kb限制
1.需求背景
根据会员号统计收益，订单数等，sql复杂，查询比较慢。
在执行查询之前，未对explain分析索引，先提了一个腾讯云的导出工单，埋下的隐患。
工单一直卡住，查询不出来，因为有大表的会员号字段未加索引导致。
同时发现在sql窗口，连基本的count查询表的数量，都查询不出来。
更加不用说提了sql alter变更 会员号的字段加索引了。
在尝试变更查询条件方向上，总不能遇到了问题，绕道而行，那么问题依然还是存在。
咨询了腾讯云的值班客服，通过以下的2个，分析进行中的sql是不是卡住了，然后提工单（数据库可以选当前查询的数据库），kill掉这个进程。【关键】
然后问题解决了。 因为这个没有解决，使用pt-online-schema-change 在执行创建触发器的过程中（Creating triggers...），也是卡死的状态。
##这两个查询结果不同
##不要使用这个 SHOW PROCESSLIST;##正解的使用这个，这个查询的结果更加全面，可以看到一个大的导出的sql卡死了，就是最上面提的导出工单而未加字段索引的sql SELECT * FROM information_schema.PROCESSLIST;SELECT * FROM information_schema.PROCESSLIST;##提工单来杀掉进程。 kill 13389147
腾讯云查询sql的工单限制：500kb
sql太多的话，首先无法提交。
如果提交了，但是超出了数量，也是查询不出来结果，卡死状态。
比如根据会员号查询会员信息，会员号1万个可以提交，但是无法查询，
如果是6千个，可以提交可以查询。
所以就会发生一个sql的查询需要根据会员号来拆分，比如：2万4个，则需要拆分出来按4次来查询。
另外避免大量的查询，则简化查询的需求，比如是统计优质车主，那么可以先过滤掉接单数小于100的车主，
这样数量直接从2万4，下降到660个。
最后按会员号作为唯一关联字段，按字段需求的需要单独来查询，然后根据会员号在excel表格中vlookup来匹配关联上。
pt-online-schema-change的无锁变更的命令使用：
首先需要在服务器上面安装，pt-online-schema-change 在此跳过，认为已经安装过了。
1.通过工具来解决： pt-online-schema-change --host=172.XX.23.XX --port=3306 --user=账号 --password=密码 D=mydb,t=my_test_table --alter "ADD INDEX idx_memNo(mem_no)" --dry-run --recursion-method=none pt-online-schema-change --host=172.XX.23.XX --port=3306 --user=账号 --password=密码 D=mydb,t=my_test_table --alter "ADD INDEX idx_memNo(mem_no)" --execute --recursion-method=none --dry-run 是测试命令 --execute 是执行命令 --set-vars="character_set_client=utf8mb4,character_set_connection=utf8mb4,character_set_results=utf8mb4" # 表的注释就不会乱码了注意点：用户名和密码要用高权限的账号 --alter 可以多个 比如一个表你要加多个字段或者多个变更 可以写多次 --alter "ADD COLUMN platform_type varchar(50) DEFAULT NULL COMMENT '类型app或h5', ADD COLUMN os varchar(255) DEFAULT NULL COMMENT 'os类型ANDROID,IOS,miniprogram-alipay等'"2.测试的执行过程： pt-online-schema-change --host=172.XX.23.XX --port=3306 --user=账号 --password=密码 D=mydb,t=my_test_table --alter "ADD INDEX idx_memNo(mem_no)" --dry-run --recursion-method=none Operation, tries, wait:analyze_table, 10, 1copy_rows, 10, 0.25create_triggers, 10, 1drop_triggers, 10, 1swap_tables, 10, 1update_foreign_keys, 10, 1 Starting a dry run. `mydb`.`my_test_table` will not be altered. Specify --execute instead of --dry-run to alter the table. Creating new table... Created new table mydb._my_test_table_new OK. Altering new table... Altered `mydb`.`_my_test_table_new` OK. Not creating triggers because this is a dry run. Not copying rows because this is a dry run. Not swapping tables because this is a dry run. Not dropping old table because this is a dry run. Not dropping triggers because this is a dry run. 2025-10-24T14:01:44 Dropping new table... 2025-10-24T14:01:44 Dropped new table OK. Dry run complete. `mydb`.`my_test_table` was not altered.3.正式的执行过程： pt-online-schema-change --host=172.XX.23.XX --port=3306 --user=账号 --password=密码 D=mydb,t=my_test_table --alter "ADD INDEX idx_memNo(mem_no)" --execute --recursion-method=none No slaves found. See --recursion-method if host TENCENT64.site has slaves. Not checking slave lag because no slaves were found and --check-slave-lag was not specified. Operation, tries, wait:analyze_table, 10, 1copy_rows, 10, 0.25create_triggers, 10, 1drop_triggers, 10, 1swap_tables, 10, 1update_foreign_keys, 10, 1 Altering `mydb`.`my_test_table`... Creating new table... Created new table mydb._my_test_table_new OK. Altering new table... Altered `mydb`.`_my_test_table_new` OK. 2025-10-24T14:01:57 Creating triggers... 2025-10-24T14:01:57 Created triggers OK. 2025-10-24T14:01:57 Copying approximately 80563 rows... 2025-10-24T14:01:58 Copied rows OK. 2025-10-24T14:01:58 Analyzing new table... 2025-10-24T14:01:58 Swapping tables... 2025-10-24T14:01:58 Swapped original and new tables OK. 2025-10-24T14:01:58 Dropping old table... 2025-10-24T14:01:58 Dropped old table `mydb`.`_my_test_table_old` OK. 2025-10-24T14:01:58 Dropping triggers... 2025-10-24T14:01:58 Dropped triggers OK. Successfully altered `mydb`.`my_test_table`.