老 MES 系统里”导出”大概是最容易被低估的功能：早期数据量小，一个同步接口把数据查出来写成 Excel 直接回传，皆大欢喜。等到单表日志类数据涨到千万行、报表动辄几十万行时，这条链路开始连环爆雷。本文记录一次完整的导出链路改造：从同步超时丢文件，到「提交即返回 + 游标流式读取 + 异步写入 + 桌面通知取件」的全套架构，包括关键实现细节、踩过的每一个坑，以及清楚留着的优化债。

一、同步导出的四宗罪

改造前的链路是典型的”一把梭”：

1

用户点导出 → 请求线程分页循环查全量 → 攒成大 List → 写 Excel → HTTP 响应回传

数据量上来后暴露的问题按出现频率排序：

1. 网关超时：内部走 Ribbon/Zuul 网关，读超时默认 10 秒，导出耗时一超，连接被网关掐断——用户拿到半个文件或一个报错页；
2. 内存压力：全量行同时驻留 JVM 堆（List<Map> + 写缓冲），几个人并发导出大报表，堆直接见顶；
3. 体验差：用户必须挂着页面等，手一抖刷新就前功尽弃；
4. 不可回溯：一旦超时，服务端即便把文件写出来了也没法交给用户，白白浪费一次全量查询。

期间打过一层补丁：同步导出超时后转后台继续写，完成后上传文件、发通知。这解决了一部分问题，但”用户先同步等 30 秒”的体验和分页翻页式读取的额外开销还在。于是有了这次彻底的改造。

阅读全文

背景

MES 系统的预警发送日志表 biz_notify_send_log 长到了 28GB。它记录每条预警消息的发送流水，只增不减，而业务实际只需要查询最近一段时间的数据。表太大带来一串连锁问题：

• 磁盘空间告急；
• 带全表扫描的查询越来越慢；
• 之前分析过的一次服务假死事故里，多级预警任务扫这张表的日志表 biz_notify_send_level_log 也是内存压力的来源之一——日志类的表就该保持”瘦”。

目标很明确：只保留近 30 天 + 当天的数据，扔掉历史包袱，并且全程不停机（生产库，7×24 有预警在写入）。

阅读全文

事故背景

下午两点半左右，本地开发环境的 MES 辅助服务（app-assist）”挂了”——接口无响应、日志停更。但排查发现：进程根本没死，端口还在监听。它陷入的是一种比崩溃更迷惑的状态——假死。

这篇文章完整复盘这次诊断，并借机把涉及的 JVM 基础概念（堆、分代、GC、晋升、物化）融会贯通地讲一遍。读完你会发现，所有现象都能用同一套逻辑串起来。

阅读全文

仅修改某个类的实现逻辑或修复bug而不重新编译构建整个项目时，可以使用命令行工具手动替换class文件。

阅读全文

事故直接原因

1

pv dengqimes_20250519_144357.sql | mysql --database=dengqimes-test --user=zy_mes -pr4UQBwBV --host=127.0.0.1 --port=3306  --default-character-set=utf8mb4

使用 pv | mysql的组合，老版mysql在shell命令处理参数时，会忽略 dengqimes-test 中的 -，导致实际上mysql将备份还原到了数据库 dengqimes 上。而正式环境和测试环境数据库名恰好仅用-加后缀进行区分。

• “pv | myslq 版本演示”

阅读全文

要实现的效果

要实现 所有客户端请求路径 最终在后端统一映射到 /J5BfNtYvHW/api，可以通过以下两种方案实现：

1. 双路径代理（无重写）
2. 路径重写

方案一：路径重写（推荐）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

server {
    listen 443 ssl http2;
    server_name 3xui2.vaetech.uk;
    ssl_certificate /etc/nginx/ssl/origin/vaetech.uk.pem;
    ssl_certificate_key /etc/nginx/ssl/origin/vaetech.uk.key;

    # 处理 /J5BfNtYvHW 路径的请求
    location /J5BfNtYvHW/ {
        # 重写路径：保留原始请求路径
        proxy_pass http://127.0.0.1:54321/J5BfNtYvHW/;  # 末尾斜杠是关键
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }

    # 处理根路径的请求
    location / {
        # 重写路径：强制添加前缀 /J5BfNtYvHW
        rewrite ^/(.*)$ /J5BfNtYvHW/$1 break;  # 通过 rewrite 添加前缀
        proxy_pass http://127.0.0.1:54321;      # 直接转发到后端根路径
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

路径映射效果：

方案二：双路径代理（无重写）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

server {
    listen 443 ssl http2;
    server_name 3xui2.vaetech.uk;
    ssl_certificate /etc/nginx/ssl/origin/vaetech.uk.pem;
    ssl_certificate_key /etc/nginx/ssl/origin/vaetech.uk.key;

    # 处理 /J5BfNtYvHW 路径的请求
    location /J5BfNtYvHW/ {
        proxy_pass http://127.0.0.1:54321/J5BfNtYvHW/;  # 保留原始路径
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }

    # 处理根路径的请求
    location / {
        proxy_pass http://127.0.0.1:54321/J5BfNtYvHW/;  # 强制添加前缀
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

路径映射效果

• 问题现象
• 问题定位
  • 原sql
  • 原因
  • 解决方法

问题现象

• 业务表记录为从SRM同步的送货单相关数据
• 业务表只做插入和更新，没有删除逻辑
• 业务表主键ID自增，AUTO_INCREMENT字段
• 业务表出现ID增长不连续、跳跃式增长的现象

1
2
3
4
5

select max(id) from biz_wms_delivery_order_barcode;
-- 913293

select count(id) from biz_wms_delivery_order_barcode;
-- 49314

才几万行数据，表ID已经增长到快100万了

问题定位

原sql

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

<update id="insertDeliveryOrder" parameterType="Map">
    <if test="dataList != null and dataList.size() > 0">
        insert into biz_wms_delivery_order(
        factoryid, deliveryno, deliverytype, purchasetype, status, innervendorcode, lastoperatetime, updatetime, maintainer, createtime)
        values
        <foreach collection="dataList" item="item" open="" close="" separator=",">
            (#{factoryid},#{item.deliveryno},#{item.deliverytype},#{item.purchasetype},#{item.status},#{item.innervendorcode},#{item.lastoperatetime}, #{maintaintime},'sys', #{maintaintime})
        </foreach>
        on duplicate key update deliverytype=values(deliverytype),purchasetype=values(purchasetype),status=values(status),innervendorcode=values(innervendorcode),lastoperatetime=values(lastoperatetime),updatetime=values(updatetime),maintainer=values(maintainer)
    </if>
</update>

<update id="insertDeliveryOrderDetails" parameterType="Map">
 <if test="linelist != null and linelist.size() > 0">
     insert into biz_wms_delivery_order_detail(
        factoryid, deliveryno, innervendorcode, innervendorname, lineno, poerpno, polineno, requirementorderno, productcode, productname, productscale,
        deliveryqty, remark, totalpackingqty, packingqty, sendverifystatus, createtime, maintainer, updatetime, status)
        values
     <foreach collection="linelist" item="item" open="" close="" separator=",">
         (#{factoryid},#{deliveryno},#{innervendorcode},#{innervendorname},#{item.lineno},#{item.poerpno},#{item.polineno}, #{item.requirementorderno},#{item.productcode},#{item.productname},#{item.productscale},
            #{item.deliveryqty},#{item.remark},#{totalpackingqty},#{item.packingqty},#{item.sendverifystatus}, #{maintaintime},'sys', #{maintaintime}, #{item.status})
     </foreach>
        on duplicate key update innervendorcode=values(innervendorcode),innervendorname=values(innervendorname),poerpno=values(poerpno),polineno=values(polineno), requirementorderno=values(requirementorderno),productcode=values(productcode),productname=values(productname),productscale=values(productscale),
        deliveryqty=values(deliveryqty),remark=values(remark),totalpackingqty=values(totalpackingqty),packingqty=values(packingqty),sendverifystatus=values(sendverifystatus),updatetime=values(updatetime),maintainer=values(maintainer), status=values(status)
 </if>
</update>

<update id="insertDeliveryOrderBarcodes" parameterType="Map">
 <if test="dataList != null and dataList.size() > 0">
     insert into biz_wms_delivery_order_barcode(
        factoryid, deliveryno, productcode, productname, productscale, lineno, smallbarcode, includeqty, createtime, maintainer, updatetime)
        values
     <foreach collection="dataList" item="item" open="" close="" separator=",">
         (#{factoryid},#{deliveryno},#{item.productcode},#{item.productname},#{item.productscale}, ifnull(#{item.dynamicdata.lineNo}, 1) ,#{item.smallbarcode},#{item.includeqty}, #{maintaintime},'sys', #{maintaintime})
     </foreach>
        on duplicate key update productname=values(productname), productscale=values(productscale)
 </if>
</update>

三个表同样的现象，自增ID不连续。

原因

使用 INSERT INTO ... ON DUPLICATE KEY UPDATE 或 INSERT IGNORE INTO 语句的坑。

1. 使用 INSERT INTO ... ON DUPLICATE KEY UPDATE 语句：

   即使在唯一键冲突时执行更新操作，没有实际插入数据库，AUTO_INCREMENT 计数器仍会递增，导致ID值跳跃。

   1 2 3 4 5

   insert into biz_wms_delivery_order( factoryid, deliveryno, deliverytype, purchasetype, status, innervendorcode, lastoperatetime, updatetime, maintainer, createtime) values (414, '22241217838N', 1, 1, 2, 4.018, '2024-12-31 10:53:01', '2025-01-02 11:43:11', 'sys', '2024-12-27 15:58:07') on duplicate key update deliverytype=values(deliverytype),purchasetype=values(purchasetype),status=values(status),innervendorcode=values(innervendorcode),lastoperatetime=values(lastoperatetime),updatetime=values(updatetime),maintainer=values(maintainer)

   尤其是在批量操作的时候，假设批量插入100条数据，其中5条插入成功，95条已存在执行更新操作，自增主键ID会在此次语句执行完后增大100而不是5，即使实际上只插入了5条新数据。

   可以手动多执行几次同样的SQL，通过 show create table 语句查看表的 AUTO_INCREMENT 属性验证。

2. 使用 INSERT IGNORE INTO 语句，也是一样。假设批量插入100条数据，其中5条插入成功，另外95条由于主键冲突被忽略，实际 AUTO_INCREMENT 增大了100。

表结构，查看 AUTO_INCREMENT

1
2
3
4
5
6
7

show create table biz_wms_delivery_order_barcode;
--
CREATE TABLE `biz_wms_delivery_order_barcode` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `factoryid` int(11) NOT NULL,
  -- ...其他字段
) ENGINE=InnoDB AUTO_INCREMENT=15713 DEFAULT CHARSET=utf8mb4 COMMENT='送货单标签'

解决方法

网上查询可知以上是mysql默认的自增ID分配策略导致的问题，会直接预先分配ID，导致 AUTO_INCREMENT 增长。虽然调整 innodb_autoinc_lock_mode 配置，可以修改该策略，但是修改该参数会影响并发性能。

因为需要定时从SRM同步，每次执行 INSERT INTO ... ON DUPLICATE KEY UPDATE 会有大量已存在的数据需要更新，导致ID跳跃的非常大。

最终还是要修改业务表的插入逻辑，不使用 INSERT INTO ... ON DUPLICATE KEY UPDATE ，将其拆分为插入和更新两部分。

方案： 在插入前先执行查询，判断记录是否存在；如果存在，则执行更新；如果不存在，则执行插入。

优点： 避免了自增ID的跳跃。

缺点： 增加了查询和判断的开销，增加了代码，可能影响性能，但影响不大可以接受。

• mysqldump备份还原相关
  • 使用mysqldump备份
    • 备份前可查询表大小
    • 备份时可忽略指定表
    • 备份时只备份表结构
    • 备份时可同时备份存储过程
    • 备份时可以指定where条件
  • 数据库备份文件还原
    • 还原指定表

mysqldump备份还原相关

使用mysqldump备份

备份前可查询表大小

1
2
3
4
5
6

select table_name as '表名',
       round((data_length + index_length) / 1024 / 1024, 2) as '表大小(MB)'
from information_schema.tables
where table_schema = 'alpsmes'
order by round((data_length + index_length) / 1024 / 1024, 2) desc
limit 20;

备份时可忽略指定表

使用 --ignore-table 选项

1
2
3
4
5
6
7
8
9
10

mysqldump -uzy_mes -p12345 alpsmes \
--ignore-table=alpsmes.biz_electr_inspection_data \
--ignore-table=alpsmes.tmp_biz_electr_inspection_data \
--ignore-table=alpsmes.sys_log_his \
--ignore-table=alpsmes.act_ru_meter_log \
--ignore-table=alpsmes.biz_technics_opc_quality \
--ignore-table=alpsmes.sys_log \
--ignore-table=alpsmes.biz_3rd_andon_api_log \
--ignore-table=alpsmes.biz_order_report_record_bak \
> alpsmes20240306.sql

备份时只备份表结构

使用 --no-data 选项

1
2
3
4
5
6
7
8
9
10
11

mysqldump -uzy_mes -p122345 alpsmes \
biz_electr_inspection_data \
tmp_biz_electr_inspection_data \
sys_log_his \
act_ru_meter_log \
biz_technics_opc_quality \
sys_log \
biz_3rd_andon_api_log \
biz_order_report_record_bak \
--no-data \
> alpsmes_no_data_20240306.sql

备份时可同时备份存储过程

1

mysqldump -uzy_mes -p12345 --routines --no-data --databases dengqimes > /tmp/dengqimes_structure.sql

备份时可以指定where条件

使用 --where 选项

• 备份时只备份数据不备份表结构

  使用 --no-create-info 选项

1

mysqldump -uzy_mes -p122345 dengqimes biz_technics_opc_quality --where="factoryid=3 and deviceid between 88 and 91" --no-create-info > output_technics_91.sql

数据库备份文件还原

还原指定表

• mysqldump备份的历史数据库文件(.sql)，不想恢复整个数据库，只想取出其中一张表

  原理是使用 sed 工具

1

sed -n -e '/CREATE TABLE `biz_order_child`/,/UNLOCK TABLES/p' dengqimes20240118000001.sql > orderchild.sql

或者

1

sed -n -e '/Table structure for.*`biz_order_child/,/Table structure for/p' dengqimes20250207000001.sql > biz_order_child.sql

或者

1

sed -n -e '/DROP TABLE IF EXISTS `biz_product`/,/UNLOCK TABLES/p' cloudmes20241121000001.sql > biz_product.sql

• mysql还原备份的sql时，可能由于字符集编码和转义问题会报错

  1 2	mysql --database=dengqimesprod --user=root --host=127.0.0.1 --port=3306 < C:\Users\zhiyin\Downloads\dengqimes20240311.sql ERROR at line 33162: Unknown command '\"'.

  需要指定字符集和数据库的字符集一样

  1	mysql --database=dengqimes --user=root -p --host=127.0.0.1 --port=3306 --default-character-set=utf8mb4 < C:\Users\zhiyin\Downloads\dengqimes20240413.sql

记录一下使用 Node.js 后台读取串口数据并通过 WebSocket 实时显示在网页上的方法，可以使用以下步骤：

1. 使用第三方库 serialport 读取串口数据
2. 安装 WebSocket 服务器，例如 ws 库
3. 创建 WebSocket 服务器，并监听客户端连接
4. 在每次读取到串口数据时，通过 WebSocket 发送数据到客户端
5. 在客户端，使用 JavaScript 更新 HTML 元素的属性值

以下是一个简单的示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

// Node.js 后台代码
const SerialPort = require('serialport');
const ReadLine = require('@serialport/parser-readline');
const WebSocket = require('ws');

// 创建一个串口解析器
const port = new SerialPort('COM3', { baudRate: 9600 });
const parser = port.pipe(new ReadLine({ delimiter: '\r\n' }));

// 创建 WebSocket 服务器
const server = new WebSocket.Server({ port: 8080 });

// 监听客户端连接
server.on('connection', (socket) => {
  // 在读取到串口数据时，发送数据到客户端
  parser.on('data', (data) => {
    // 解析读取到的数据
    const target = data.split('  ')[2];
    // 通过 WebSocket 发送数据到客户端
    socket.send(target);
  });
});

// 客户端 JavaScript 代码
const socket = new WebSocket('ws://localhost:8080');

// 监听 WebSocket 接收到的数据
socket.onmessage = (event) => {
  // 更新 HTML 元素的属性值
  document.getElementById('test').value = event.data;
};

注意：在这个示例代码中，我们假设“数据格式为文本字符，形如0 00 xxx 00，获取其中的xxx”

浏览器中手动修改cookie的有效期

网站可以使用Cookie验证身份，从而可以实现关闭游客访问。

作为用户，若网站关闭了游客访问，且Cookie到期以后，就无法继续访问该网站。

可以在浏览器客户端手动设置Cookie的过期时间，从而延长登录有效期。

以Chrome浏览器为例，按F12打开开发者工具，找到网站Cookie手动修改过期时间。

相关知识之会话cookie

阅读全文