事故直接原因

1

pv dengqimes_20250519_144357.sql | mysql --database=dengqimes-test --user=zy_mes -pr4UQBwBV --host=127.0.0.1 --port=3306  --default-character-set=utf8mb4

使用 pv | mysql的组合，老版mysql在shell命令处理参数时，会忽略 dengqimes-test 中的 -，导致实际上mysql将备份还原到了数据库 dengqimes 上。而正式环境和测试环境数据库名恰好仅用-加后缀进行区分。

• “pv | myslq 版本演示”

阅读全文

要实现的效果

要实现 所有客户端请求路径 最终在后端统一映射到 /J5BfNtYvHW/api，可以通过以下两种方案实现：

1. 双路径代理（无重写）
2. 路径重写

方案一：路径重写（推荐）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

server {
    listen 443 ssl http2;
    server_name 3xui2.vaetech.uk;
    ssl_certificate /etc/nginx/ssl/origin/vaetech.uk.pem;
    ssl_certificate_key /etc/nginx/ssl/origin/vaetech.uk.key;

    # 处理 /J5BfNtYvHW 路径的请求
    location /J5BfNtYvHW/ {
        # 重写路径：保留原始请求路径
        proxy_pass http://127.0.0.1:54321/J5BfNtYvHW/;  # 末尾斜杠是关键
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }

    # 处理根路径的请求
    location / {
        # 重写路径：强制添加前缀 /J5BfNtYvHW
        rewrite ^/(.*)$ /J5BfNtYvHW/$1 break;  # 通过 rewrite 添加前缀
        proxy_pass http://127.0.0.1:54321;      # 直接转发到后端根路径
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

路径映射效果：

方案二：双路径代理（无重写）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

server {
    listen 443 ssl http2;
    server_name 3xui2.vaetech.uk;
    ssl_certificate /etc/nginx/ssl/origin/vaetech.uk.pem;
    ssl_certificate_key /etc/nginx/ssl/origin/vaetech.uk.key;

    # 处理 /J5BfNtYvHW 路径的请求
    location /J5BfNtYvHW/ {
        proxy_pass http://127.0.0.1:54321/J5BfNtYvHW/;  # 保留原始路径
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }

    # 处理根路径的请求
    location / {
        proxy_pass http://127.0.0.1:54321/J5BfNtYvHW/;  # 强制添加前缀
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

路径映射效果

• 问题现象
• 问题定位
  • 原sql
  • 原因
  • 解决方法

问题现象

• 业务表记录为从SRM同步的送货单相关数据
• 业务表只做插入和更新，没有删除逻辑
• 业务表主键ID自增，AUTO_INCREMENT字段
• 业务表出现ID增长不连续、跳跃式增长的现象

1
2
3
4
5

select max(id) from biz_wms_delivery_order_barcode;
-- 913293

select count(id) from biz_wms_delivery_order_barcode;
-- 49314

才几万行数据，表ID已经增长到快100万了

问题定位

原sql

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

<update id="insertDeliveryOrder" parameterType="Map">
    <if test="dataList != null and dataList.size() > 0">
        insert into biz_wms_delivery_order(
        factoryid, deliveryno, deliverytype, purchasetype, status, innervendorcode, lastoperatetime, updatetime, maintainer, createtime)
        values
        <foreach collection="dataList" item="item" open="" close="" separator=",">
            (#{factoryid},#{item.deliveryno},#{item.deliverytype},#{item.purchasetype},#{item.status},#{item.innervendorcode},#{item.lastoperatetime}, #{maintaintime},'sys', #{maintaintime})
        </foreach>
        on duplicate key update deliverytype=values(deliverytype),purchasetype=values(purchasetype),status=values(status),innervendorcode=values(innervendorcode),lastoperatetime=values(lastoperatetime),updatetime=values(updatetime),maintainer=values(maintainer)
    </if>
</update>

<update id="insertDeliveryOrderDetails" parameterType="Map">
 <if test="linelist != null and linelist.size() > 0">
     insert into biz_wms_delivery_order_detail(
        factoryid, deliveryno, innervendorcode, innervendorname, lineno, poerpno, polineno, requirementorderno, productcode, productname, productscale,
        deliveryqty, remark, totalpackingqty, packingqty, sendverifystatus, createtime, maintainer, updatetime, status)
        values
     <foreach collection="linelist" item="item" open="" close="" separator=",">
         (#{factoryid},#{deliveryno},#{innervendorcode},#{innervendorname},#{item.lineno},#{item.poerpno},#{item.polineno}, #{item.requirementorderno},#{item.productcode},#{item.productname},#{item.productscale},
            #{item.deliveryqty},#{item.remark},#{totalpackingqty},#{item.packingqty},#{item.sendverifystatus}, #{maintaintime},'sys', #{maintaintime}, #{item.status})
     </foreach>
        on duplicate key update innervendorcode=values(innervendorcode),innervendorname=values(innervendorname),poerpno=values(poerpno),polineno=values(polineno), requirementorderno=values(requirementorderno),productcode=values(productcode),productname=values(productname),productscale=values(productscale),
        deliveryqty=values(deliveryqty),remark=values(remark),totalpackingqty=values(totalpackingqty),packingqty=values(packingqty),sendverifystatus=values(sendverifystatus),updatetime=values(updatetime),maintainer=values(maintainer), status=values(status)
 </if>
</update>

<update id="insertDeliveryOrderBarcodes" parameterType="Map">
 <if test="dataList != null and dataList.size() > 0">
     insert into biz_wms_delivery_order_barcode(
        factoryid, deliveryno, productcode, productname, productscale, lineno, smallbarcode, includeqty, createtime, maintainer, updatetime)
        values
     <foreach collection="dataList" item="item" open="" close="" separator=",">
         (#{factoryid},#{deliveryno},#{item.productcode},#{item.productname},#{item.productscale}, ifnull(#{item.dynamicdata.lineNo}, 1) ,#{item.smallbarcode},#{item.includeqty}, #{maintaintime},'sys', #{maintaintime})
     </foreach>
        on duplicate key update productname=values(productname), productscale=values(productscale)
 </if>
</update>

三个表同样的现象，自增ID不连续。

原因

使用 INSERT INTO ... ON DUPLICATE KEY UPDATE 或 INSERT IGNORE INTO 语句的坑。

1. 使用 INSERT INTO ... ON DUPLICATE KEY UPDATE 语句：

   即使在唯一键冲突时执行更新操作，没有实际插入数据库，AUTO_INCREMENT 计数器仍会递增，导致ID值跳跃。

   1 2 3 4 5

   insert into biz_wms_delivery_order( factoryid, deliveryno, deliverytype, purchasetype, status, innervendorcode, lastoperatetime, updatetime, maintainer, createtime) values (414, '22241217838N', 1, 1, 2, 4.018, '2024-12-31 10:53:01', '2025-01-02 11:43:11', 'sys', '2024-12-27 15:58:07') on duplicate key update deliverytype=values(deliverytype),purchasetype=values(purchasetype),status=values(status),innervendorcode=values(innervendorcode),lastoperatetime=values(lastoperatetime),updatetime=values(updatetime),maintainer=values(maintainer)

   尤其是在批量操作的时候，假设批量插入100条数据，其中5条插入成功，95条已存在执行更新操作，自增主键ID会在此次语句执行完后增大100而不是5，即使实际上只插入了5条新数据。

   可以手动多执行几次同样的SQL，通过 show create table 语句查看表的 AUTO_INCREMENT 属性验证。

2. 使用 INSERT IGNORE INTO 语句，也是一样。假设批量插入100条数据，其中5条插入成功，另外95条由于主键冲突被忽略，实际 AUTO_INCREMENT 增大了100。

表结构，查看 AUTO_INCREMENT

1
2
3
4
5
6
7

show create table biz_wms_delivery_order_barcode;
--
CREATE TABLE `biz_wms_delivery_order_barcode` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `factoryid` int(11) NOT NULL,
  -- ...其他字段
) ENGINE=InnoDB AUTO_INCREMENT=15713 DEFAULT CHARSET=utf8mb4 COMMENT='送货单标签'

解决方法

网上查询可知以上是mysql默认的自增ID分配策略导致的问题，会直接预先分配ID，导致 AUTO_INCREMENT 增长。虽然调整 innodb_autoinc_lock_mode 配置，可以修改该策略，但是修改该参数会影响并发性能。

因为需要定时从SRM同步，每次执行 INSERT INTO ... ON DUPLICATE KEY UPDATE 会有大量已存在的数据需要更新，导致ID跳跃的非常大。

最终还是要修改业务表的插入逻辑，不使用 INSERT INTO ... ON DUPLICATE KEY UPDATE ，将其拆分为插入和更新两部分。

方案： 在插入前先执行查询，判断记录是否存在；如果存在，则执行更新；如果不存在，则执行插入。

优点： 避免了自增ID的跳跃。

缺点： 增加了查询和判断的开销，增加了代码，可能影响性能，但影响不大可以接受。

• mysqldump备份还原相关
  • 使用mysqldump备份
    • 备份前可查询表大小
    • 备份时可忽略指定表
    • 备份时只备份表结构
    • 备份时可同时备份存储过程
    • 备份时可以指定where条件
  • 数据库备份文件还原
    • 还原指定表

mysqldump备份还原相关

使用mysqldump备份

备份前可查询表大小

1
2
3
4
5
6

select table_name as '表名',
       round((data_length + index_length) / 1024 / 1024, 2) as '表大小(MB)'
from information_schema.tables
where table_schema = 'alpsmes'
order by round((data_length + index_length) / 1024 / 1024, 2) desc
limit 20;

备份时可忽略指定表

使用 --ignore-table 选项

1
2
3
4
5
6
7
8
9
10

mysqldump -uzy_mes -p12345 alpsmes \
--ignore-table=alpsmes.biz_electr_inspection_data \
--ignore-table=alpsmes.tmp_biz_electr_inspection_data \
--ignore-table=alpsmes.sys_log_his \
--ignore-table=alpsmes.act_ru_meter_log \
--ignore-table=alpsmes.biz_technics_opc_quality \
--ignore-table=alpsmes.sys_log \
--ignore-table=alpsmes.biz_3rd_andon_api_log \
--ignore-table=alpsmes.biz_order_report_record_bak \
> alpsmes20240306.sql

备份时只备份表结构

使用 --no-data 选项

1
2
3
4
5
6
7
8
9
10
11

mysqldump -uzy_mes -p122345 alpsmes \
biz_electr_inspection_data \
tmp_biz_electr_inspection_data \
sys_log_his \
act_ru_meter_log \
biz_technics_opc_quality \
sys_log \
biz_3rd_andon_api_log \
biz_order_report_record_bak \
--no-data \
> alpsmes_no_data_20240306.sql

备份时可同时备份存储过程

1

mysqldump -uzy_mes -p12345 --routines --no-data --databases dengqimes > /tmp/dengqimes_structure.sql

备份时可以指定where条件

使用 --where 选项

• 备份时只备份数据不备份表结构

  使用 --no-create-info 选项

1

mysqldump -uzy_mes -p122345 dengqimes biz_technics_opc_quality --where="factoryid=3 and deviceid between 88 and 91" --no-create-info > output_technics_91.sql

数据库备份文件还原

还原指定表

• mysqldump备份的历史数据库文件(.sql)，不想恢复整个数据库，只想取出其中一张表

  原理是使用 sed 工具

1

sed -n -e '/CREATE TABLE `biz_order_child`/,/UNLOCK TABLES/p' dengqimes20240118000001.sql > orderchild.sql

或者

1

sed -n -e '/Table structure for.*`biz_order_child/,/Table structure for/p' dengqimes20250207000001.sql > biz_order_child.sql

或者

1

sed -n -e '/DROP TABLE IF EXISTS `biz_product`/,/UNLOCK TABLES/p' cloudmes20241121000001.sql > biz_product.sql

• mysql还原备份的sql时，可能由于字符集编码和转义问题会报错

  1 2	mysql --database=dengqimesprod --user=root --host=127.0.0.1 --port=3306 < C:\Users\zhiyin\Downloads\dengqimes20240311.sql ERROR at line 33162: Unknown command '\"'.

  需要指定字符集和数据库的字符集一样

  1	mysql --database=dengqimes --user=root -p --host=127.0.0.1 --port=3306 --default-character-set=utf8mb4 < C:\Users\zhiyin\Downloads\dengqimes20240413.sql

记录一下使用 Node.js 后台读取串口数据并通过 WebSocket 实时显示在网页上的方法，可以使用以下步骤：

1. 使用第三方库 serialport 读取串口数据
2. 安装 WebSocket 服务器，例如 ws 库
3. 创建 WebSocket 服务器，并监听客户端连接
4. 在每次读取到串口数据时，通过 WebSocket 发送数据到客户端
5. 在客户端，使用 JavaScript 更新 HTML 元素的属性值

以下是一个简单的示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

// Node.js 后台代码
const SerialPort = require('serialport');
const ReadLine = require('@serialport/parser-readline');
const WebSocket = require('ws');

// 创建一个串口解析器
const port = new SerialPort('COM3', { baudRate: 9600 });
const parser = port.pipe(new ReadLine({ delimiter: '\r\n' }));

// 创建 WebSocket 服务器
const server = new WebSocket.Server({ port: 8080 });

// 监听客户端连接
server.on('connection', (socket) => {
  // 在读取到串口数据时，发送数据到客户端
  parser.on('data', (data) => {
    // 解析读取到的数据
    const target = data.split('  ')[2];
    // 通过 WebSocket 发送数据到客户端
    socket.send(target);
  });
});

// 客户端 JavaScript 代码
const socket = new WebSocket('ws://localhost:8080');

// 监听 WebSocket 接收到的数据
socket.onmessage = (event) => {
  // 更新 HTML 元素的属性值
  document.getElementById('test').value = event.data;
};

注意：在这个示例代码中，我们假设“数据格式为文本字符，形如0 00 xxx 00，获取其中的xxx”

浏览器中手动修改cookie的有效期

网站可以使用Cookie验证身份，从而可以实现关闭游客访问。

作为用户，若网站关闭了游客访问，且Cookie到期以后，就无法继续访问该网站。

可以在浏览器客户端手动设置Cookie的过期时间，从而延长登录有效期。

以Chrome浏览器为例，按F12打开开发者工具，找到网站Cookie手动修改过期时间。

相关知识之会话cookie

阅读全文

终端设置代理

1. Linux/macOS bash/Windows Git Bash终端

   1. 使用 export https_proxy=http://127.0.0.1:7890;export http_proxy=http://127.0.0.1:7890;export all_proxy=socks5://127.0.0.1:7890 设置环境变量
   2. 使用 curl -verbose ip.gs 命令进行检查是否设置成功。

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

   $ export https_proxy=http://127.0.0.1:7890;export http_proxy=http://127.0.0.1:7890;export all_proxy=socks5://127.0.0.1:7890 $ curl -verbose ip.gs * Uses proxy env variable http_proxy == 'http://127.0.0.1:7890' * Trying 127.0.0.1:7890... * Connected to 127.0.0.1 (127.0.0.1) port 7890 (#0) > GET http://ip.gs/ HTTP/1.1 > Host: ip.gs > User-Agent: curl/7.84.0 > Accept: */* > Referer: rbose > Proxy-Connection: Keep-Alive > * Mark bundle as not supporting multiuse < HTTP/1.1 200 OK < Transfer-Encoding: chunked < Cache-Control: no-cache < Connection: keep-alive < Content-Type: text/plain < Date: Wed, 08 Feb 2023 06:01:21 GMT < Keep-Alive: timeout=4 < Proxy-Connection: keep-alive < Server: nginx < Vary: Accept-Encoding < 2607:f130:0:手动马赛克::d891:eccc * Connection #0 to host 127.0.0.1 left intact

2. Windows CMD终端

   1. 使用 set http_proxy=http://127.0.0.1:7890 & set https_proxy=http://127.0.0.1:7890 设置环境变量
   2. 使用 curl -vvvk https://google.com 命令进行检查是否设置成功。

阅读全文

三款软件、按顺序使用即可，无损移动C盘文件至其他盘，不影响使用。

1. SpaceSniffer 磁盘文件大小可视化分析，找到大文件夹
2. LockHunter 解除文件进程占用
3. FreeMove 建立软链接的方式移动C盘大文件夹至其他盘

阅读全文

最近公司网络出毛病老是隔段时间就自动断开连接，写了这个批处理脚本可以自动检测网络状态、断网自动重连WiFi，并记录断网重连日志。

阅读全文

• 前期准备
• 资源链接
• 代码示例
  • 检查浏览器是否支持
  • 打开串行端口
• 地磅读数代码示例
• chrome浏览器配置在http协议使用web串行api

阅读全文