[{"archived":false,"content":" 一、先确定你的知识树 # 你的毕设方向其实横跨四块：\n工业高光谱异常检测 │ ┌────────────────┼───── ↓ ↓ ↓ 高光谱基础 图像恢复/去噪 异常检测 │ │ │ 子空间 低秩先验 RX 光谱特征 稀疏先验 背景建模 空间特征 PnP 重建残差 光谱混合 Diffusion AutoEncoder │ │ │ └────────────────┼───── ↓ 现代深度学习方法 │ Transformer/Mamba Foundation Model │ ↓ 工业质检应用 目标不是把所有领域都学透。\n而是达到：\n能读懂 HAD 和 HSI Restoration 论文，能复现代码，知道论文为什么这么设计，并能够自己判断“这个模块有没有改进空间”。\n二、第一阶段：先建立领域地图 # 这一阶段先不要逐公式啃论文。\nPaper 0：先读一篇综述 # Hyperspectral Anomaly Detection Using Deep Learning: A Review # Remote Sensing, 2022。\n这篇先让你知道 HAD 的方法大概有哪些类别，包括传统统计、表示学习、自动编码器、深度学习等。MDPI\n这一篇目标只有：\n读完能画出这张图：\nHAD │ ├── 统计方法 │ └── RX / KRX │ ├── 表示方法 │ ├── Sparse Representation │ ├── Collaborative Representation │ └── Low-Rank Representation │ └── Deep Learning ├── CNN ├── AutoEncoder ├── Transformer └── Mamba 不用复现。\n达标标准 # 如果我问：\n为什么 HAD 一般是无监督的？\nHAD 和目标检测有什么区别？\n为什么高光谱能发现 RGB 看不见的异常？\n现在 HAD 大概分几类方法？\n能用自己的话解释。\n三、第二阶段：HAD 的三个经典方法 # 这三篇非常重要。\nPaper 1 ★★★★★ # Reed \u0026amp; Yu, 1990 # Adaptive Multiple-Band CFAR Detection of an Optical Pattern with Unknown Spectral Distribution\n也就是 HAD 里最经典的：\nRX Detector # 发表于 1990 年，是后来大量高光谱异常检测工作的基准。Meta Science Observatory\n你必须真正理解：\n背景像素 ≈ 多元高斯分布 对于一个像素 \\(x\\)：\n它离背景分布中心越远 ↓ Mahalanobis Distance 越大 ↓ 越可能是异常 必须掌握 # 均值向量； 协方差矩阵； Mahalanobis Distance； 为什么不用欧氏距离； Global RX 和 Local RX； ROC； AUC； False Positive / True Positive。 复现要求 # 这个最好你自己用 Python 从零写出来。\n不要调用别人完整实现。\n最后做到：\nanomaly_map = RX(hsi) 四、Paper 2 ★★★ # Kernel RX-Algorithm: A Nonlinear Anomaly Detector for Hyperspectral Imagery # IEEE TGRS, 2005。\n它把 RX 从原空间扩展到 kernel feature space，解决简单高斯/线性模型能力有限的问题。ResearchGate\n你不需要深入 kernel theory。\n重点理解：\nRX为什么有限？\nKernel Trick为什么能处理非线性背景？\n然后知道：\nRX ↓ 线性背景 KRX ↓ 非线性背景 即可。\n这篇理解思想，不要求完整复现。\n五、Paper 3 ★★★★★ # Collaborative Representation for Hyperspectral Anomaly Detection # Li \u0026amp; Du，IEEE TGRS，2015。\n这是异常检测从：\n“统计分布”\n转向：\n“背景能不能被其他背景像素表示”\n的重要方法。论文核心是：背景像素可以由邻域中的其他背景像素较好地协同表示，而异常通常不能。IEEE Xplore\n你一定要理解这句话：\n如果 x 是背景： x ≈ Dα 误差小 如果 x 是异常： x ≠ Dα 误差大 于是：\nreconstruction error ↓ anomaly score 这其实已经开始接近后面的 DeCNN-AD 和 MMR-HAD。\n必须掌握 # Dictionary 是什么； Representation coefficient 是什么； L1 和 L2 正则大概有什么区别； reconstruction error； 为什么异常难被背景字典表示。 六、Paper 4 ★★★★★ # Anomaly Detection in Hyperspectral Images Based on Low-Rank and Sparse Representation # IEEE TGRS，2015/2016。\n这篇特别重要，因为它把一个后来非常核心的思想讲得很清楚：\nHSI X = L + S L：Low Rank 大量背景 S：Sparse 少量异常 背景往往具有较强相关性，因此可以用低秩结构描述；异常数量较少，对应稀疏部分。ResearchGate\n这一步非常关键。\n因为以后你看：\nDeCNN-AD； RoSEGS； MMR-HAD； 很多 HSI restoration； 都会不断碰到：\nlow rank / sparse / subspace。\n达标要求 # 看到：\n\\[ X=L+S+N \\]你马上知道：\nX：观测HSI L：背景/干净信号 S：异常/稀疏噪声 N：Gaussian Noise 而不是看到公式就懵。\n七、这里插入一篇基础理论 Paper 5 # Hyperspectral Subspace Identification # Bioucas-Dias \u0026amp; Nascimento，IEEE TGRS 2008。\n也就是著名的：\nHySime\n这篇不是异常检测，但是对你后面 RoSEGS 特别重要。\n它研究：\n几百个光谱波段真的有几百个独立信息维度吗？\n答案通常是否。\nHSI 数据实际上常常落在一个低维子空间中。HySime 就是在自动估计这个信号子空间。IT.pt\n必须搞懂：\n300 Bands ↓ 实际上很多高度相关 ↓ 有效维度可能远小于300 ↓ HSI ≈ E × Z 其中：\nE：spectral basis Z：reduced image 你将来读 RoSEGS 时会反复见到这一结构。\n八、第三阶段：正式进入符老师课题组 # 这时候再读那三篇。\n你会发现难度一下下降很多。\nPaper 6 ★★★★★ 核心 # DeCNN-AD # Hyperspectral Anomaly Detection via Deep Plug-and-Play Denoising CNN Regularization\nIEEE TGRS，2021。\n符老师的代表性 HAD 工作之一。\n它从低秩表示和 dictionary reconstruction 出发，引入 Plug-and-Play CNN prior，并重新考虑背景字典构造。HKU Scholars Hub\n你这时候应该能看懂：\nLow-Rank Representation ↓ Background Dictionary ↓ Representation Coefficient ↓ PnP CNN Prior ↓ Background Reconstruction ↓ Residual ↓ Anomaly 要达到什么程度？ # 这一篇要做到：\n论文能够讲出来 + 官方代码完整复现。\n而不是：\n“大概知道用了 CNN。”\n答辩时别人问：\n为什么 CNN 在这里不是直接做异常分类？\nPnP 到底 plug 的是什么？\n为什么重新构造 background dictionary？\n你能够回答。\n九、Paper 7 ★★★★★ 核心 # RoSEGS # Hyperspectral Image Denoising via Robust Subspace Estimation and Group Sparsity Constraint\nIEEE TGRS，2023。\n这是你以前已经接触过的。它针对 HSI mixed noise，结合鲁棒子空间估计、稀疏噪声检测、group sparsity 和 Plug-and-Play denoiser。ResearchGate\n现在重新读时，重点不是公式本身，而是弄懂：\nObserved HSI Y = Clean HSI + Gaussian Noise + Sparse Noise 为什么：\n先识别Sparse Noise ↓ 估计Subspace ↓ 在Reduced Image处理 ↓ PnP Denoising ↓ 重建HSI 必须复现 # 这是你的第二个核心复现。\n最终自己能生成：\nNoisy HSI ↓ RoSEGS ↓ Denoised HSI ↓ PSNR SSIM SAM 十、Paper 8 ★★★★★ # MMR-HAD # Multiscale Mamba Reconstruction Network for Hyperspectral Anomaly Detection\nIEEE TGRS，2025。\n这是符老师目前官方主页列出的代表论文之一，而且已经进入 Mamba + reconstruction 的路线。深圳大学计算机与软件工程学院\n这里重点不是一开始硬复现。\n要读懂它的核心问题：\n传统重建网络为什么会把 anomaly 也重建出来？\n理想情况：\nInput ↓ Network ↓ 只重建Background Input - Background ↓ Anomaly 但现实：\nInput ↓ 强大的Network ↓ Background + Anomaly都重建 Input - Reconstruction ↓ 异常残差变小 这叫一种典型的：\nover-generalization / anomaly reconstruction\n你之后自己的研究，很可能也会围绕这个问题展开。\n十一、第四阶段：高光谱去噪的顶会发展 # 现在开始看 CVPR/ICCV。\nPaper 9 ★★★★★ # Non-Local Meets Global: An Integrated Paradigm for Hyperspectral Denoising # CVPR 2019\n非常推荐。\n它提出一个很经典的思想：\nGlobal Spectral Low-Rank + Spatial Non-local Similarity 即：\nHSI 光谱维有全局低秩性，同时空间上又存在大量相似 patch。\n这是后来许多 HSI restoration 方法的重要思想来源。计算机视觉基金会开放获取\n这篇和 RoSEGS 很适合对着读。\n必须掌握：\nglobal spectral correlation； non-local similarity； patch group； reduced image； alternating optimization。 不要求你马上复现。\n十二、Paper 10 ★★★★ # DDS2M # Self-Supervised Denoising Diffusion Spatio-Spectral Model for Hyperspectral Image Restoration\nICCV 2023。\n这篇让你认识：\nDiffusion 怎么进入 HSI Restoration。\n而且非常重要的一点是：\n高光谱数据不像 ImageNet 那么多，所以 self-supervised 特别有价值。\nDDS2M 就是不依赖额外干净训练数据、从退化 HSI 本身进行恢复。计算机视觉基金会开放获取\n重点学：\n为什么HSI缺数据？ 为什么supervised restoration容易domain shift？ 为什么self-supervised适合HSI？ Diffusion 数学暂时不用完全推导。\n十三、Paper 11 ★★★★★ # HIR-Diff # Unsupervised Hyperspectral Image Restoration Via Improved Diffusion Models\nCVPR 2024。\n它把：\nLow-rank Subspace + Diffusion Prior 结合起来做 HSI restoration，而且覆盖 denoising、super-resolution、inpainting。计算机视觉基金会开放获取\n这篇我很建议你认真读。\n因为你会发现：\n传统 model-driven prior\n和\nmodern generative prior\n不是互相替代，而是在融合。\n这和符老师 DeCNN-AD / RoSEGS 的：\nmodel-driven + deep prior\n其实是同一种大思路。\n十四、Paper 12 ★★★★ # Unmixing Diffusion for Self-Supervised Hyperspectral Image Denoising # CVPR 2024。\n这篇引入一个你以后很值得懂的概念：\nSpectral Unmixing # 基本思想：\n一个像素可能不是“纯材料”，而是：\nPixel Spectrum = 0.6 × Material A + 0.3 × Material B + 0.1 × Material C 对应：\nEndmember + Abundance 这篇把 spectral unmixing 和 diffusion 结合做自监督 HSI denoising。计算机视觉基金会开放获取\n暂时不用复现。\n但需要知道：\nendmember 是什么；\nabundance 是什么；\nlinear mixture model 是什么。\n十五、2025 年再看两篇“现在发展到哪了” # 这两篇属于追前沿。\nPaper 13 ★★★ # VolFormer # Explore More Comprehensive Cube Interaction for Hyperspectral Image Restoration and Beyond\nCVPR 2025。\n它关注 HSI 是真正的三维 cube：\nHeight × Width × Spectral 而传统 attention 往往只沿某个维度做。\nVolFormer 尝试进行更加完整的 volumetric interaction。计算机视觉基金会开放获取\n主要学习：\n现代 Transformer 怎样建模 spatial-spectral interaction。\n不用复现。\nPaper 14 ★★★★ # MP-HSIR # A Multi-Prompt Framework for Universal Hyperspectral Image Restoration\nICCV 2025。\n这是非常值得关注的新趋势：\n不再一个模型只处理一种 noise，而是做 universal restoration。\n它引入：\nspectral prompt； textual prompt； visual prompt； 处理多种 degradation。计算机视觉基金会开放获取\n这对你的“复杂噪声工业环境”非常有启发。\n以后甚至可以研究：\n不同工业相机、不同噪声条件，是否可以一个模型解决？\n十六、Foundation Model 方向暂时只读一篇 # Paper 15 ★★★ # S2MAE # A Spatial-Spectral Pretraining Foundation Model for Spectral Remote Sensing Data\nCVPR 2024。\n它把 MAE / masked pretraining 思路引入 spectral imagery，使用 spatial-spectral 预训练来学习通用表示。计算机视觉基金会开放获取\n你重点知道：\n传统： 一个数据集 ↓ 一个模型 Foundation Model： 大规模HSI ↓ Pretraining ↓ General Representation ↓ 不同下游任务 现阶段不建议你往 billion-scale foundation model 做毕业设计。\n了解趋势即可。\nHyperSIGMA 也可以作为进一步扩展阅读，目前已经发展到专门面向 HSI interpretation 的大规模 foundation model。arXiv\n十七、你还应该补一条：工业异常检测 # 这一块很重要。\n因为你的最终场景不是纯遥感，而是工业质检。\n所以至少看 3 篇 RGB 工业异常检测顶会论文。\nPaper 16 ★★★★★ # PatchCore # Towards Total Recall in Industrial Anomaly Detection\nCVPR 2022。\n这是工业 anomaly detection 很值得读的一篇。\n核心：\n只训练Normal Samples ↓ 提取Patch Feature ↓ Memory Bank ↓ 测试Feature离Normal Memory越远 ↓ 越可能异常 非常符合现实工业：\n缺陷样本很少，正常产品很多。 计算机视觉基金会开放获取\n你需要思考：\nPatchCore 的思想能否迁移到 hyperspectral feature？\n这个问题就已经可能产生研究想法。\n十八、Paper 17 ★★★★ # SimpleNet # CVPR 2023。\n一个很好理解、工程性很强的工业 anomaly detector。\n它通过在 feature space 生成 artificial anomaly features，再训练 discriminator。计算机视觉基金会开放获取\n特别值得你学的是：\n人工合成异常用于训练。\n未来你自己的问题完全可能变成：\nClean HSI ↓ Synthetic Noise + Synthetic Anomaly ↓ Noise-Robust HAD 十九、Paper 18 ★★★ # WinCLIP # Zero-/Few-Shot Anomaly Classification and Segmentation\nCVPR 2023。\n这是另一条路线：\nCLIP + Text Prompt + Anomaly Detection 实现 zero-shot / few-shot 工业异常检测。计算机视觉基金会开放获取\n暂时不用深入。\n但要知道未来可能出现：\nHSI + Foundation Model + Zero-Shot Anomaly Detection。\n二十、所以你的必读核心其实只有这 12 篇 # 如果压缩到真正必须吃透：\n顺序 论文 阅读程度 0 HAD Deep Learning Review 泛读 1 RX Detector 精读+自己实现 2 Collaborative Representation HAD 精读 3 Low-Rank \u0026amp; Sparse HAD 精读 4 HySime 重点理解 5 DeCNN-AD 精读+复现 6 NGMeet 精读 7 RoSEGS 精读+复现 8 MMR-HAD 精读 9 DDS2M 重点阅读 10 HIR-Diff 精读 11 PatchCore 精读 剩下：\nKRX、Diff-Unmix、VolFormer、MP-HSIR、S2MAE、SimpleNet、WinCLIP\n作为扩展阅读。\n这样不至于把自己淹死。\n二十一、你真正需要补的数学 # 不用先把一本数学教材重新学一遍。\n遇到论文再补。\n第一阶段必须达到以下水平：\n线性代数 # 重点：\nVector / Matrix Matrix Rank Eigenvalue / Eigenvector SVD Orthogonal Basis Projection Covariance Matrix Matrix Norm 特别是：\n\\[ X=U\\Sigma V^T \\]你必须理解 SVD 在干什么。\n概率统计 # 掌握：\nGaussian Distribution Multivariate Gaussian Mean Variance Covariance Mahalanobis Distance 否则 RX 看不懂。\n优化 # 至少认识：\nL1 Norm L2 Norm L2,1 Norm Regularization Gradient Descent Proximal Operator Alternating Optimization 不要求现在自己推 ADMM。\n看到公式知道它在解决什么即可。\n深度学习 # 需要补：\nCNN AutoEncoder Residual Network Attention Transformer Self-supervised Learning Diffusion Mamba 学习顺序一定是：\nCNN ↓ AutoEncoder ↓ Attention/Transformer ↓ Diffusion ↓ Mamba 不要反过来。\n二十二、你的第一个阶段目标：4 周 # Week 1：HSI + RX # 学：\nHSI是什么 Spatial / Spectral Spectrum Band Noise Anomaly RX 读：\nReview + RX。\n完成：\nPython 自己实现 RX。\nWeek 2：Representation # 读：\nCollaborative Representation\nLow-Rank Sparse HAD\n补：\nDictionary Sparse Low Rank SVD Reconstruction 最终你应该能解释：\n为什么“重建不好 = 异常”。\nWeek 3：Subspace # 读：\nHySime\nNGMeet\n补：\nSubspace Spectral Low Rank Non-local Similarity 最终能理解：\n为什么几百个 HSI bands 可以压到低维表示。\nWeek 4：DeCNN-AD # 精读。\n然后：\n跑通官方代码。\n最终写一份你自己的：\n《DeCNN-AD论文阅读与复现笔记》\n内容必须包含：\nProblem Motivation Previous Method Limitation Core Idea Architecture Loss / Objective Optimization Dataset Metric Experiments Ablation Limitations Possible Improvements 以后每一篇精读论文都按照这套模板。\n二十三、第二阶段目标：再 4 周 # Week 5～6 # RoSEGS。\n达到：\n能讲清 mixed noise；\n能看懂 subspace representation；\n能运行 RoSEGS；\n能生成自己的 simulated noise；\n能计算 PSNR / SSIM / SAM。\nWeek 7 # MMR-HAD。\n重点：\nMamba Multi-scale Background Reconstruction Random Mask Anomaly Leakage 不用硬复现。\nWeek 8 # DDS2M + HIR-Diff。\n重点不是数学，而是搞清：\n为什么Diffusion能做restoration supervised vs self-supervised vs unsupervised model prior vs learned prior 二十四、第三阶段目标：一个非常重要的转折 # 两个月之后，你就不要只是：\n“继续读论文”。\n你要开始做一个 Literature Matrix。\n格式类似：\nPaper 年份 核心假设 Background模型 Noise Deep Prior 优点 缺点 RX 1990 Gaussian Statistical 弱 × 简单 背景假设强 CRD 2015 Local representation Dictionary 弱 × 易解释 dictionary污染 LRSR 2016 low-rank+sparse LRR 一般 × 结构合理 优化较慢 DeCNN-AD 2021 LRR Dictionary 一般 CNN PnP …… MMR-HAD 2025 Reconstruction Mamba ? Mamba 长程建模 …… Ours 2027 ? ? 复杂噪声 ? ? ? 最后那一行就是你的论文。\n当你慢慢能填写：\n“别人都解决了什么，还有什么没解决”\n才真正进入科研。\n二十五、3 个月后的达标标准 # 我不给你定“读 20 篇论文”这种没意义的 KPI。\n真正的目标是：\nLevel 1：知识 # 看到：\nRX LRR Sparse Subspace PnP AutoEncoder Transformer Diffusion Mamba 你都知道是什么意思。\nLevel 2：论文 # 拿到一篇新的 HAD 论文。\n一天以内能回答：\n它解决什么问题？\n前人哪里不好？\n它改了什么？\n为什么这个改动理论上可能有效？\n实验是不是支持它？\nLevel 3：代码 # 至少自己完成：\nRX √ 自己实现 DeCNN-AD √ 复现 RoSEGS √ 复现 Industrial Dataset √ 跑通 Level 4：科研 # 能够提出至少 3 个可验证的问题。\n例如：\nGaussian / stripe / impulse noise 对不同 HAD 的影响是否一致？\n去噪提高 PSNR 是否一定提高 anomaly AUC？\n强去噪是否会把弱异常一起删除？\nbackground reconstruction 是否会受到 noise 与 anomaly 双重污染？\n这一步比“我想改个 attention”重要得多。\nLevel 5：进入自己的课题 # 最后才能真正确定：\nNoise-Robust Industrial Hyperspectral Anomaly Detection\n然后才决定到底是：\nDenoise → Detect 还是 Joint Denoising + Detection 还是 Noise-Aware Reconstruction 还是 Anomaly-Preserving Restoration 不要现在就把“双分支网络”当最终创新。\n前面我给你的双分支只是一个可行假设。\n真正科研的正确顺序应该是：\n读论文 → 做实验 → 找问题 → 再决定网络长什么样。\n","date":"2026 年 9 月 26 日","externalUrl":null,"permalink":"/notes/%E9%AB%98%E5%85%89%E8%B0%B1%E5%9B%BE%E5%83%8F%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B%E7%9B%B8%E5%85%B3%E8%AF%BE%E9%A2%98%E7%A0%94%E7%A9%B6%E7%AC%94%E8%AE%B0/%E9%AB%98%E5%85%89%E8%B0%B1/","section":"笔记","summary":"","tags":[],"title":"关于毕设与高光谱入门论文阅读与学习路线","type":"notes","year":"2026"},{"archived":false,"content":"1、大四学业别落下，毕业论文早点选题早点和导师沟通，毕业论文如果能和未来研究方向挂钩那是最好的，把本科论文好好打磨，争取能够发表或者是说能拿一个优秀。\n2、科研预研：主动联系未来导师，去了解一下课题，去读课题组文章，可加入课题组开展研究。提升学术文章管理和学术工具使用能力。\n3、作息不要混乱，保证每天2-3小时学习和科研，提前了解一下学校的政策、自己的档案等。自己的英语不要丢下，如有必要去考雅思托福，多和学长学姐聊一聊经验避开一些雷区。\n4、选择合适的实习岗位，想清楚自己未来要做的东西，也可以多尝试。争取把每次经历做成自己独特的优势，简历上要有能量化的数字和具体的成果，多和已经工作的人聊一聊，感受一下职场的氛围。\n5、把落下的课程或技能补一补。\n6、养成健身的习惯，培养理财的能力。\n7、毕业旅行。\n8、重新捡起一些兴趣：音乐、绘画、摄影等，探索新的领域。\n","date":"2026 年 9 月 24 日","externalUrl":null,"permalink":"/notes/%E4%BF%9D%E7%A0%94/%E4%BF%9D%E7%A0%94%E5%90%8E%E5%B9%B2%E7%82%B9%E5%95%A5/","section":"笔记","summary":"保研后的大四要怎么过呢~","tags":["保研","规划","大四"],"title":"保研后干点啥~","type":"notes","year":"2026"},{"archived":false,"content":" 项目简介 # 本项目面向工业机器人零件抓取场景，构建了从视觉识别、目标定位、坐标转换到机械臂执行的完整流程。\n系统通过相机获取工作区域图像，利用 YOLO 模型识别目标零件，并根据检测框中心计算目标位置。随后将图像坐标转换为机械臂可执行的抓取位姿，通过通信模块向仿真机械臂发送运动和吸取指令。\n系统流程 # ```mermaid\nflowchart LR\nA[相机拍照] --\u0026gt; B[YOLO零件识别] B --\u0026gt; C[计算目标中心] C --\u0026gt; D[坐标转换] D --\u0026gt; E[生成抓取位姿] E --\u0026gt; F[机械臂移动] F --\u0026gt; G[吸嘴吸取] ","date":"2026 年 9 月 22 日","externalUrl":null,"permalink":"/projects/%E5%B7%A5%E4%B8%9A%E6%9C%BA%E5%99%A8%E4%BA%BA-2d-%E8%A7%86%E8%A7%89%E6%8A%93%E5%8F%96%E5%AE%9A%E4%BD%8D%E7%B3%BB%E7%BB%9F/","section":"项目","summary":"基于 YOLO 目标检测完成零件定位，通过图像坐标与机械臂坐标转换生成抓取位姿，并结合 MQTT、TCP Socket 与仿真机械臂完成零件识别、定位和吸取流程。","tags":["Computer Vision","Industrial Robotics","Object Detection","Robot Grasping"],"title":"工业机器人 2D 视觉抓取定位系统","type":"projects","year":"2026"},{"archived":false,"content":" 1. 目标检测解决什么问题 # 目标检测不仅要回答“图像里有什么”，还需要回答“目标在哪里”。\n因此，一个典型检测结果通常包含：\n类别；\n置信度；\n目标位置。\n对于普通目标检测，目标位置通常表示为水平矩形框 Bounding Box。\n2. Bounding Box # 常见表示方式包括：\n[\n(x_1,y_1,x_2,y_2)\n]\n或者：\n[\n(x_c,y_c,w,h)\n]\n其中：\n\\(x_c,y_c\\)：目标中心；\n\\(w,h\\)：目标框宽高。\n3. IoU # IoU 用于衡量两个目标框之间的重叠程度：\n[\nIoU=\\frac{|A\\cap B|}{|A\\cup B|}\n]\nIoU 越大，说明两个目标框越接近。\n4. NMS # 同一个目标可能产生多个候选框，因此通常使用 Non-Maximum Suppression：\n选择置信度最高的框；\n计算它与其他框的 IoU；\n删除重叠程度过高的框；\n重复上述过程。\n5. 为什么需要 OBB # 对于细长、倾斜或方向明显的目标，普通水平框可能包含大量背景。\nOBB（Oriented Bounding Box）在矩形框基础上进一步表示旋转角度，因此更适合：\n遥感目标；\n文本检测；\n工业零件；\n细长目标。\n6. 小结 # Bounding Box 是目标检测最基础的位置表示方式，而 OBB 则进一步引入方向信息。\n理解 Bounding Box、IoU 和 NMS，是理解 YOLO 检测流程的重要基础。\n","date":"2026 年 9 月 22 日","externalUrl":null,"permalink":"/notes/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89/%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B/yolo-%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B%E5%9F%BA%E7%A1%80%E4%BB%8E-bounding-box-%E5%88%B0-obb/","section":"笔记","summary":"梳理目标检测中 Bounding Box、IoU、NMS 与 OBB 的基本概念，并结合 YOLO 理解目标定位过程。","tags":["YOLO","Object Detection","Bounding Box","OBB","IoU"],"title":"YOLO 目标检测基础：从 Bounding Box 到 OBB","type":"notes","year":"2026"},{"archived":false,"content":" 研究背景 # 3D Gaussian Splatting（3DGS）能够以显式高斯表示实现高质量、实时的新视角合成，也为三维场景编辑提供了新的技术路径。\n语言驱动的三维场景编辑通常需要先根据文本指令修改多个二维视图，再将修改结果重新融合到三维场景中。然而，不同视角之间存在遮挡、尺度变化、编辑噪声以及语义歧义，使得同一目标在不同视图中的编辑结果可能不一致。\n研究问题 # 本研究重点关注多视角编辑过程中的语义对应与一致性问题，包括：\n不同视角下目标区域的语义对应； 遮挡和视角变化导致的匹配困难； 二维生成模型带来的跨视角编辑噪声； 多视图编辑结果向三维表示迁移时的一致性。 方法概述 # 整体流程可以概括为：\n文本编辑指令 → 多视图二维编辑 → 多视角语义对应 → 一致性约束 → 3DGS 场景更新。\n研究通过更加合理的语义传递机制，在不同视图之间建立编辑区域的对应关系，并将多视角信息重新融合至三维场景表示。\n我的参与 # 本人作为论文第二作者，参与相关工作调研、部分实验及结果分析，并对语言驱动三维场景编辑、多视图一致性和 3D Gaussian Splatting 等相关方法进行了学习与实践。\n当前状态 # 论文目前处于审稿阶段。\n","date":"2026 年 9 月 22 日","externalUrl":null,"permalink":"/research/transsplat-unbalanced-semantic-transport-for-language-driven-3dgs-editing/","section":"科研","summary":"面向语言驱动的 3D Gaussian Splatting 场景编辑，研究多视角编辑中的语义对应与一致性问题","tags":["3D Vision / 3DGS / Scene Editing / Multimodal"],"title":"TransSplat: Unbalanced Semantic Transport for Language-Driven 3DGS Editing","type":"research","year":"2026"},{"archived":false,"content":" 项目简介 # 车间生产环境中人员流动频繁、设备持续运行，人员安全和设备状态直接关系到生产过程的稳定性与安全性。 传统车间安全管理主要依赖人工巡检和人工查看监控画面，存在实时性不足、漏检风险较高、异常事件难以自动追踪等问题。普通视频监控虽然能够记录现场情况，但仍需要人工判断，难以主动完成异常识别和报警。 本项目面向工业车间安全监测场景，设计并实现了一套 基于 Kafka 事件驱动与 OpenPose 姿态识别的车间视频监测异常行为分析系统。 系统通过摄像头持续采集现场视频，对人员异常行为、设备异常状态和环境传感器数据进行实时分析，并在发现异常后自动生成报警事件。 整体形成： 视频采集 → 视频预处理 → 行为识别 → 异常判定 → 报警通知 → 可视化展示 的完整闭环。 系统采用事件驱动式组件化架构，通过 Kafka 实现各处理组件之间的异步解耦，并结合 MinIO、Redis、MySQL、YOLO、OpenPose、OpenCV、PLC/Modbus 等技术，实现视频分析、状态累计、异常检测、证据留存、现场报警和远程通知等功能。 1. 项目目标 # 项目主要面向车间实时安全监测场景，监测对象包括： 人员行为； 设备运行状态； 环境传感器数据。 系统主要实现以下目标： 持续接入本地摄像头、RTSP 摄像头或 HTTP 视频流； 对视频进行切片、裁剪、压缩和降噪； 使用 YOLO 检测人员位置； 使用 OpenPose BODY_25 提取人体姿态关键点； 识别人员静止、疑似跌倒、倒地后无动作、异常姿态、离岗、聚集、快速移动和挥手求助等行为； 使用光流法检测设备区域异常震动； 通过 PLC/Modbus 采集车间传感器数据； 使用 Redis 实现跨视频片段状态累计； 自动生成异常事件并保存相关证据； 支持企业微信、PLC 声光报警、蜂鸣器和语音播报； 通过可视化大屏展示实时监测状态。 2. 系统需求分析 # 2.1 视频采集 # 系统支持多种视频输入方式： 本地摄像头； 工业 RTSP 摄像头； HTTP 视频源。 视频采集组件持续读取摄像头画面，并按照设定时间间隔切分为短视频片段。 视频片段和封面帧上传至 MinIO，同时向 Kafka 发布原始视频消息，为后续处理组件提供输入。 2.2 视频预处理 # 由于原始视频中可能包含无关区域、复杂背景和较大的数据量，因此在识别前对视频进行预处理。 主要包括： ROI 区域裁剪； 视频压缩； 高斯降噪； 关键区域聚焦； 关键帧提取。 预处理的主要目标是降低数据量，并减少复杂背景对后续行为识别的影响。 2.3 人员行为识别 # 系统主要识别以下人员异常行为： 人员长时间静止； 疑似跌倒； 倒地后无动作； 长时间弯腰或蹲下； 人员离岗； 人员聚集； 快速移动或奔跑； 挥手求助或异常挥动。 人员行为识别综合使用： YOLO 人员检测 + OpenPose 姿态关键点 + 人员运动状态 + 持续时间 进行判断。 对于人员静止、倒地后无动作、人员离岗和人员聚集等异常，系统不能只依赖单帧图像，而是需要保存历史状态并累计持续时间。 2.4 设备与环境异常监测 # 系统不仅监测人员行为，同时监测设备状态和工业现场传感器数据。 设备状态方面，通过 OpenCV 光流法分析设备 ROI 区域连续帧之间的运动变化，用于判断设备是否发生异常震动。 环境监测方面，通过 PLC/Modbus 读取： 电压； 电流； 功率； 频率； 温度； 湿度； 噪声； 烟雾； 光照； 拉绳位移。 当传感器数据超过设定阈值时，系统自动生成传感器异常事件。 2.5 异常报警 # 当系统检测到异常后，可通过多种方式进行报警： 企业微信机器人消息； 异常文字描述； 证据图片； 异常视频片段； PLC 声光报警； 蜂鸣器报警； 语音播报。 报警信息包含： 异常类型； 异常等级； 发生时间； 监测任务编号； 异常描述； 图片及视频证据。 系统还设计报警冷却机制，避免同一异常在短时间内被重复推送。 3. 系统总体设计 # 3.1 总体设计思路 # 系统采用： 后台持续运行 + Kafka 消息队列解耦 + MinIO 对象存储 + Redis 状态缓存 + MySQL 业务数据库 的总体设计思路。 系统不是一次性处理单个视频文件，而是持续接入摄像头视频流，将视频切分为短片段，并通过 Kafka 消息驱动后续组件持续运行。 视频采集、视频预处理、行为识别、异常判定、报警通知和可视化展示被划分为相对独立的业务组件。 各组件之间不直接传输大型视频文件，而是： Kafka 传递 URL、识别结果和异常事件等结构化消息； MinIO 保存视频、截图和证据文件； Redis 保存实时状态和临时数据； MySQL 保存需要长期查询的数据。 flowchart TB A[视频输入层] --\u003e B[视频采集组件] B --\u003e K1[Kafka raw_video] K1 --\u003e C[视频预处理组件] C --\u003e K2[Kafka processed_video] K2 --\u003e D[行为识别组件] D --\u003e K3[Kafka recognition_result] K3 --\u003e E[异常判定组件] E --\u003e K4[Kafka abnormal_event] K4 --\u003e F[报警通知组件] K4 --\u003e G[可视化组件] B --\u003e M[(MinIO)] C --\u003e M D --\u003e M B --\u003e R[(Redis)] E --\u003e R F --\u003e R E --\u003e DB[(MySQL)] F --\u003e DB F --\u003e H[企业微信] F --\u003e P[PLC 声光报警] F --\u003e V[语音播报] G --\u003e UI[实时监控大屏] 3.2 系统分层 # 系统主要包括五个层次。 视频输入层 # 负责接入： 本地摄像头； RTSP 工业摄像头； HTTP 视频源。 组件处理层 # 包括： 视频采集组件； 视频预处理组件； 行为识别组件； 异常判定组件。 中间件支撑层 # 包括： Kafka； MinIO； Redis； MySQL。 报警层 # 包括： 企业微信机器人； PLC 声光报警； 蜂鸣器； 语音播报。 可视化展示层 # 负责展示： 实时摄像头画面； 人员及异常区域标注； 异常事件； 报警记录； 异常统计； 传感器实时数据及趋势。 3.3 技术栈 # Python # 系统主要开发语言，负责组件逻辑、视觉分析、数据处理与后端服务实现。 Kafka # 作为组件化系统的消息总线，实现视频处理不同阶段之间的异步消息传递与解耦。 MinIO # 负责保存： 原始视频； 处理后视频； 截图； 关键帧； 异常证据文件。 Redis # 负责保存： 人员实时状态； 异常持续时间； 设备震动历史； 报警冷却状态； 最新摄像头帧。 MySQL # 负责长期保存： 传感器数据； 异常事件； 报警记录； 相关业务数据。 OpenCV # 负责： 视频读取； 视频切片； 图像处理； 视频编码； 光流分析。 YOLO # 主要用于人员目标检测，同时作为 OpenPose 姿态识别的前置门控。 OpenPose BODY_25 # 用于提取人体姿态关键点，为跌倒、异常姿态和挥手求助等行为判断提供基础。 Optical Flow # 通过分析设备 ROI 区域连续帧之间的像素运动变化，实现设备异常震动检测。 Modbus TCP # 负责 PLC 传感器数据读取以及蜂鸣器、声光报警等现场设备控制。 FastAPI # 用于提供实时监控大屏所需要的数据接口和相关后端服务。 ECharts / Web UI # 用于展示实时视频、异常统计、报警记录和传感器变化趋势。 4. 事件驱动消息架构 # Kafka 是整个组件化系统的消息总线。 不同处理阶段使用独立 Topic，实现组件之间的异步协同。 workshop.raw_video # 生产者： 视频采集组件 消费者： 视频预处理组件 主要传递： 原始视频 URL； 封面； 摄像头信息； 视频片段编号； 开始时间； 结束时间。 workshop.processed_video # 生产者： 视频预处理组件 消费者： 行为识别组件 主要传递： 处理后视频； 关键帧； ROI 信息； 视频上下文信息。 workshop.recognition_result # 生产者： 行为识别组件 消费者： 异常判定组件 主要传递： 人员行为结果； 人体姿态信息； 设备震动结果； 标注图片或视频信息。 workshop.abnormal_event # 生产者： 异常判定组件 消费者： 报警通知组件； 可视化组件。 主要传递： 异常类型； 异常等级； 异常描述； 发生时间； 图片与视频证据。 workshop.alarm_result # 生产者： 报警通知组件 消费者： 可视化组件 主要传递： 报警方式； 报警执行状态； 报警结果。 通过 Topic 将不同处理阶段解耦后，即使某个组件处理速度较慢，消息也能够暂存在 Kafka 中，而不会阻塞整个视频处理流程。 flowchart LR A[Video Capture] --\u003e|raw_video| B[Preprocess] B --\u003e|processed_video| C[Recognition] C --\u003e|recognition_result| D[Abnormal Judge] D --\u003e|abnormal_event| E[Alarm] D --\u003e|abnormal_event| F[Dashboard] E --\u003e|alarm_result| F 5. 六个核心组件 # 5.1 视频采集组件 # 视频采集组件是系统数据链路的起点。 主要负责： 连接摄像头； 持续读取视频帧； 按时间进行视频切片； 保存封面帧； 上传视频及图片到 MinIO； 将最新视频帧写入 Redis； 向 Kafka 发布原始视频消息。 系统支持： 本地摄像头； RTSP 视频源； HTTP 视频源。 对于每个视频片段，消息中记录： monitor_id camera_id clip_id raw_video_url cover_frame_url start_time end_time sequence 使后续组件能够围绕同一个监测任务持续处理数据。 5.2 视频预处理组件 # 视频预处理组件监听： workshop.raw_video 接收到消息后，从 MinIO 下载原始视频。 随后完成： ROI 裁剪； 高斯降噪； 视频压缩； 重点区域聚焦； 关键帧提取。 处理后的视频和关键帧重新上传 MinIO，并发布： workshop.processed_video 供行为识别组件继续处理。 5.3 行为识别组件 # 行为识别组件是整个系统的核心智能分析组件。 系统综合： YOLO + OpenPose + OpenCV Optical Flow 分别完成： 人员定位； 人体姿态分析； 设备震动分析。 处理完成后生成： 人员行为结果； 人体关键点结果； 设备震动结果； 标注图片； 标注视频。 并发布到： workshop.recognition_result 5.4 异常判定组件 # 行为识别组件主要描述当前视频片段中的状态，而异常判定组件负责判断： 当前状态是否已经真正构成异常。 例如，人员短暂停顿并不能直接判定为“人员长时间静止”。 因此异常判定组件结合 Redis 中保存的历史状态，对连续视频片段进行累计。 当异常条件成立后，系统： 生成异常事件； 保存异常类型、等级、描述和发生时间； 关联证据图片与视频； 写入 MySQL； 发布到 workshop.abnormal_event。 5.5 报警通知组件 # 报警通知组件监听： workshop.abnormal_event 接收到异常事件后，根据异常类型和风险等级触发对应报警。 支持： 企业微信文本消息； 企业微信证据图片； 企业微信异常视频； PLC 声光报警； 蜂鸣器； 语音播报。 报警结果最终发布到： workshop.alarm_result 供可视化组件展示。 5.6 可视化组件 # 可视化组件负责提供车间实时监控大屏。 后端主要接口包括： /workshop-dashboard /api/live /api/events /api/alarms /api/stats /api/sensors /api/camera-stream 其中 /api/camera-stream 优先读取 Redis 中缓存的最新摄像头帧，并以 MJPEG 形式返回。 这种方式避免了可视化模块重新占用摄像头资源。 6. 人员异常行为识别 # 6.1 YOLO 人员检测门控 # YOLO 主要负责识别视频画面中的人员位置。 在系统中，YOLO 不仅承担目标检测任务，同时作为 OpenPose 的前置门控。 flowchart LR A[Video Frame] --\u003e B[YOLO Person Detection] B --\u003e|检测到人员| C[OpenPose] B --\u003e|未检测到人员| D[跳过姿态分析] C --\u003e E[关键点与姿态判断] 只有检测到有效人员区域时，系统才继续进行 OpenPose 姿态识别，从而减少复杂背景中的无效计算和误识别。 6.2 OpenPose BODY_25 姿态分析 # 系统采用 OpenPose BODY_25 模型提取人体姿态关键点。 重点关注以下关键点。 头部 # 用于判断人体高度变化和跌倒趋势。 肩部 # 用于判断躯干方向，以及辅助判断弯腰姿态。 髋部 # 用于判断人体中心位置和身体姿态。 膝盖 # 用于判断蹲下和腿部弯曲状态。 脚踝 # 辅助判断站立、蹲下和跌倒状态。 手腕 # 主要用于判断挥手求助或异常挥动行为。 例如： 人体从竖直变为接近水平，同时头部、肩部和髋部高度明显下降，可作为疑似跌倒判断依据； 手腕多次高于肩部并出现明显摆动，可作为挥手求助判断依据； 肩部、髋部和膝盖之间的位置关系异常并持续一定时间，可用于判断弯腰或蹲下。 7. 异常规则设计 # 7.1 人员长时间静止 # 异常类型： person_static 系统根据人员中心点位置变化和运动速度判断是否处于静止状态。 Redis 持续累计静止时间，当持续时间超过阈值后生成异常。 7.2 疑似跌倒 # 异常类型： person_fall 主要结合： 人体躯干方向； 头部高度； 肩部位置； 髋部位置； 姿态持续时间 进行综合判断。 7.3 倒地后无动作 # 异常类型： fall_no_movement 系统在疑似跌倒基础上进一步判断关键点和运动幅度。 如果人员在倒地后长时间没有明显动作，则提高风险等级。 7.4 异常姿态 # 异常类型： abnormal_posture 主要针对： 长时间弯腰； 长时间蹲下； 其他异常身体姿态。 7.5 人员离岗 # 异常类型： person_absent 如果指定区域连续一段时间没有检测到人员，则生成离岗或无人值守异常。 7.6 人员聚集 # 异常类型： crowd_gathering 系统统计同一区域内人员数量。 当人数超过设定阈值并持续一定时间时，生成聚集异常。 7.7 快速移动 # 异常类型： person_running 系统根据人员中心点在连续帧中的移动距离和速度判断是否出现快速移动行为。 7.8 挥手求助 # 异常类型： help_gesture 通过分析： 手腕； 肘部； 肩部 之间的位置变化，判断手腕是否高于肩部，并检测周期性大幅摆动。 8. 设备异常震动检测 # 设备异常震动检测使用 OpenCV 光流法实现。 系统首先设置设备 ROI，然后计算连续视频帧之间的像素运动变化。 当设备正常运行时，ROI 区域运动变化较小；当设备出现明显抖动时，光流变化值明显增大。 系统主要输出： optical_flow_value vibration_score vibration_level 其中： optical_flow_value 表示区域运动强度； vibration_score 表示归一化震动评分； vibration_level 表示震动等级。 当震动评分超过阈值并持续一定时间后，系统生成： device_vibration 异常。 该方案无需额外训练设备震动模型，适合对固定设备区域进行轻量化实时监测。 9. Redis 跨片段状态累计 # 部分异常无法通过单个视频片段准确判断。 例如： 人员静止； 倒地后无动作； 人员离岗； 人员聚集； 设备持续震动。 因此系统使用 Redis 保存实时历史状态。 人员上一次位置 # 用于判断人员是否发生明显移动。 静止开始时间 # 记录人员进入静止状态的时间。 静止持续时间 # 用于判断是否达到长时间静止阈值。 最近出现时间 # 用于判断人员是否长时间离岗。 设备震动历史 # 用于判断设备震动是否持续发生。 报警冷却状态 # 用于避免同一异常被持续重复报警。 最新摄像头帧 # 供实时可视化模块直接获取最新画面。 通过状态累计机制，系统将： 单帧识别 扩展为： 连续时间状态判断 从而提高异常判定的稳定性。 10. MinIO 异常证据链 # 视频和图片文件体积较大，因此系统没有将大型二进制数据直接写入 Kafka。 而是采用： MinIO 保存文件 + Kafka 传递 URL 与元数据 的设计。 MinIO 中主要保存： 原始视频片段； 封面帧； 预处理视频； 关键帧； 标注视频； 异常截图； 异常证据视频。 当异常发生后，报警信息和可视化页面可以直接引用这些证据文件。 这种设计形成： 视频数据 → 识别结果 → 异常事件 → 图片 / 视频证据 → 报警记录 的完整异常证据链。 11. PLC / Modbus 工业现场联动 # 系统通过 Modbus TCP 与 PLC 通信，实现： 工业传感器数据读取； 传感器异常阈值判断； 蜂鸣器和声光报警控制。 传感器主要包括： 电压； 电流； 功率； 频率； 温度； 湿度； 噪声； 烟雾； 光照； 拉绳位移。 高风险异常发生后，系统可以向指定 PLC 寄存器写入控制值。 flowchart LR A[异常事件] --\u003e B[Modbus TCP] B --\u003e C[PLC Register] C --\u003e D[蜂鸣器] C --\u003e E[声光报警] 从而实现软件异常识别与工业现场硬件之间的联动。 12. 企业微信报警 # 企业微信机器人采用 Webhook 方式实现。 报警组件接收到异常后，构造： 异常类型； 异常等级； 异常描述； 发生时间； 监测任务； 图片证据； 视频证据。 然后通过 HTTP POST 推送给管理人员。 支持： 文本消息； 图片消息； 视频或文件消息。 通过企业微信远程通知、PLC 现场报警和语音播报组合，系统同时具备： 远程管理人员通知 + 现场工作人员提醒 能力。 13. 报警冷却机制 # 为避免同一异常在短时间内持续重复推送，系统使用 Redis 实现报警冷却。 flowchart TD A[检测到异常] --\u003e B{是否存在报警冷却状态} B --\u003e|是| C[跳过重复报警] B --\u003e|否| D[执行报警] D --\u003e E[企业微信 / PLC / 语音] E --\u003e F[写入 Redis 冷却状态] 冷却时间结束后，如果异常仍然存在，则可以重新触发报警。 这一机制减少了重复消息干扰，提高报警信息的有效性。 14. 实时可视化大屏 # 系统提供车间监测可视化页面，用于集中展示实时运行状态。 实时视频 # 持续显示摄像头画面，并根据识别结果叠加： 人员检测框； 异常区域红框； 状态信息。 异常事件 # 展示： 事件编号； 异常类型； 异常等级； 事件描述； 发生时间； 相关证据。 报警状态 # 展示： 企业微信推送状态； PLC 声光报警状态； 语音播报状态。 异常统计 # 统计： 异常类型分布； 异常等级分布； 报警数量变化。 传感器趋势 # 展示： 温度； 湿度； 电压； 电流； 噪声； 烟雾； 光照； 拉绳位移 等数据的实时状态和变化趋势。 15. 系统测试 # 15.1 视频采集测试 # 分别使用： 本地摄像头； RTSP 摄像头 进行视频输入测试。 系统能够持续获取视频画面、生成视频片段、上传 MinIO，并向： workshop.raw_video 发布原始视频消息。 15.2 视频预处理测试 # 预处理组件能够消费原始视频消息，并完成： 视频下载； ROI 裁剪； 高斯降噪； 视频压缩； 关键帧提取； MinIO 上传； Kafka 消息发布。 最终向： workshop.processed_video 发布预处理结果。 15.3 人员异常识别测试 # 测试过程中，通过人员在摄像头画面中保持较长时间静止验证持续状态判断。 当人员位置变化较小，并且持续时间达到设定阈值后，系统能够生成： person_static 异常。 此外，系统还围绕离岗、聚集、异常姿态等人员行为进行了规则设计和功能测试。 15.4 设备震动测试 # 通过人工晃动设备或 ROI 内目标模拟异常震动。 当设备区域运动明显增强时： vibration_score vibration_level optical_flow_value 均发生变化，系统能够输出设备异常震动结果。 15.5 传感器异常测试 # 对： 温度； 湿度； 噪声； 烟雾； 拉绳位移 等传感器进行阈值异常测试。 当数据超过设定阈值时，系统能够生成传感器异常事件。 15.6 可视化展示测试 # 系统能够在监控大屏中展示： 实时摄像头画面； 人员与异常红框； 异常事件列表； 报警状态； 异常统计； 传感器趋势。 验证了从后台分析到前端展示的完整数据链路。 16. 项目特点 # 16.1 事件驱动式组件化架构 # 系统没有将视频处理流程编写成一个大型串行程序，而是拆分为： 视频采集 → 视频预处理 → 行为识别 → 异常判定 → 报警通知 → 可视化 六个相对独立的组件。 Kafka 作为消息总线连接这些组件，使系统能够持续、异步运行。 16.2 多技术融合的工业视觉分析 # 系统综合使用： YOLO + OpenPose + Optical Flow 分别解决： 人员定位； 姿态分析； 设备运动分析。 并通过规则引擎和状态累计，将视觉结果进一步转化为工业安全异常事件。 16.3 跨视频片段异常判断 # 通过 Redis 保存历史状态，将单个视频片段的识别结果扩展为连续时间判断。 相比单帧识别，更符合： 长时间静止； 倒地无动作； 人员离岗； 人员聚集； 持续设备震动 等实际异常的业务特征。 16.4 完整异常证据链 # 通过 Kafka、MinIO、Redis 和 MySQL 的协同，系统保存： 视频片段； 异常截图； 识别结果； 传感器数据； 异常事件； 报警记录。 使异常事件具备： 可追踪、可展示、可复查 的能力。 16.5 软件与工业现场联动 # 系统不仅完成视频识别，还进一步通过： PLC； Modbus TCP； 传感器； 声光报警； 企业微信； 语音播报 实现软件系统、现场设备和管理人员之间的联动。 17. 总结 # 本项目面向车间实时安全监测场景，完成了从系统需求分析、总体架构设计、组件接口设计到核心功能开发和系统测试的完整过程。 系统采用 Kafka、MinIO、Redis 和 MySQL 共同支撑的事件驱动式组件化架构： Kafka 负责组件之间的消息流转； MinIO 负责视频与证据文件存储； Redis 负责人员状态、设备震动历史、报警冷却和实时画面缓存； MySQL 负责传感器数据、异常事件和报警记录的持久化。 在视觉分析方面，系统结合： YOLO 人员检测； OpenPose BODY_25 姿态关键点分析； OpenCV 光流设备震动检测。 并通过异常规则与 Redis 历史状态累计，实现人员行为、设备状态和传感器异常的综合判断。 在报警与展示方面，系统进一步实现： 企业微信远程报警； PLC 声光报警； 蜂鸣器报警； 语音播报； 视频及图片证据留存； 实时可视化大屏。 最终形成： 视频采集 → 视频预处理 → 行为识别 → 异常判定 → 报警通知 → 可视化展示 的完整工业安全监测闭环。 通过该项目，完成了计算机视觉算法、事件驱动架构、工业中间件、实时状态管理、工业通信和可视化展示等技术在同一个工业软件系统中的综合应用。 ","date":"2026 年 6 月 29 日","externalUrl":null,"permalink":"/projects/%E5%9F%BA%E4%BA%8E-kafka-%E4%BA%8B%E4%BB%B6%E9%A9%B1%E5%8A%A8%E4%B8%8E-openpose-%E5%A7%BF%E6%80%81%E8%AF%86%E5%88%AB%E7%9A%84%E8%BD%A6%E9%97%B4%E8%A7%86%E9%A2%91%E7%9B%91%E6%B5%8B%E5%BC%82%E5%B8%B8%E8%A1%8C%E4%B8%BA%E5%88%86%E6%9E%90%E7%B3%BB%E7%BB%9F/","section":"项目","summary":"面向工业车间安全监测场景，基于 Kafka 构建事件驱动式组件化架构，融合 YOLO、OpenPose、光流分析与 PLC/Modbus，实现人员异常行为、设备异常状态和传感器异常的实时监测、报警与可视化。","tags":["Industrial Software","Computer Vision","Kafka","OpenPose","YOLO","Redis","MinIO","Modbus TCP"],"title":"基于 Kafka 事件驱动与 OpenPose 姿态识别的车间视频监测异常行为分析系统","type":"projects","year":"2026"},{"archived":false,"content":" 项目简介 # 随着制造业数字化和智能化的发展，零件、物料、BOM、设备、区域、单位、货币和成本记录等数据逐渐成为企业生产经营中的重要数据资产。\n零件成本管理也不再只是简单的成本汇总，而是涉及基础数据标准化、零件主数据管理、BOM 结构维护、成本计算规则、结果分析和数据追溯等多个环节。\n本项目面向工业制造场景，设计并实现了一套 **面向工业数据管理的零件成本管理系统**。\n系统结合数据治理思想，围绕基础配置、零件主数据、BOM、成本计算、元数据地图和 AI 助手等功能展开，形成：\n基础数据配置 → 零件管理 → BOM 维护 → 成本计算 → 结果分析 → 元数据查询 → AI 辅助\n的完整业务流程。\n项目采用 Python 技术栈完成前端、后端、数据库和智能化功能开发，重点体现工业数据管理、业务系统设计与数据治理思想在实际软件系统中的落地。\n1. 项目目标 # 项目目标是开发一套面向工业制造场景的零件成本管理系统，实现基础数据、零件主数据、BOM、成本数据和元数据的一体化管理。\n系统主要完成以下目标：\n统一维护单位、货币、汇率、区域、设备、物料类型和物质价格等基础数据；\n以零件 `Part` 作为核心主数据，支撑 BOM 和成本计算；\n通过 BOM 头和 BOM 明细维护父子件关系与层级结构；\n记录材料成本、制造成本、间接费用和总成本；\n通过图表展示成本构成和分析结果；\n建立元数据字典和数据地图，提升系统数据的可理解性；\n接入 AI 助手，为用户提供操作问答、数据解释和成本分析建议。\n2. 数据治理设计 # 系统设计参考数据治理中的统一语言、数据同源、元数据驱动和数据可追溯等思想。\n2.1 统一语言 # 单位、货币、区域、设备、物料类型、物质分类和物质价格等基础数据由统一模块维护，并被其他业务模块引用。\n通过基础数据统一维护，减少相同业务概念在不同模块中的重复定义，使系统形成一致的数据标准。\n2.2 数据同源 # 系统以零件 `Part` 作为 BOM 和成本计算的统一主数据来源。\nBOM、成本记录和附件等信息均围绕零件建立关系，实现：\n一点录入，多点调用\n从而减少数据重复维护，保证不同业务模块之间的数据一致性。\n2.3 元数据驱动 # 系统通过元数据字典描述数据库中的：\n表；\n字段；\n数据类型；\n主键；\n外键；\n字段含义；\n表间关系。\n通过元数据管理，提高数据的可理解性和可检索性。\n2.4 可追溯与可扩展 # 系统保留：\nBOM 层级关系；\n成本明细；\n主数据引用关系；\n元数据信息。\n这些信息为后续成本规则扩展、报表分析和 AI 检索增强提供基础。\n3. 系统总体设计 # 3.1 系统架构 # 系统采用：\n前端展示层 → 后端服务层 → 数据存储层 → 智能增强层\n的分层架构。\n其中：\n**前端展示层**：负责页面展示、数据录入、查询筛选、图表分析和用户交互；\n**后端服务层**：负责 REST API、业务逻辑处理、参数校验和成本计算；\n**数据存储层**：负责基础配置、零件主数据、BOM 数据和成本结果的持久化；\n**智能增强层**：提供操作引导、数据解释和成本分析建议。\n系统运行时，用户通过前端完成基础配置、零件维护、BOM 编辑和成本计算等操作。\n前端通过 HTTP 请求调用后端 API；后端完成参数校验、业务处理和数据库读写后，将结果返回前端，再通过表格、树形结构、图表和 AI 问答面板等形式展示。\n3.2 技术选型 # 项目主要采用以下技术：\n| 类别 | 技术 / 工具 | 主要作用 |\n| \u0026mdash; | \u0026mdash; | \u0026mdash; |\n| 开发语言 | Python | 系统主要开发语言 |\n| 前端框架 | Streamlit | 页面展示、表单录入和交互 |\n| 后端框架 | FastAPI | REST API 与业务接口 |\n| 数据库 | MySQL | 结构化数据持久化 |\n| ORM | SQLAlchemy | 数据库访问与对象关系映射 |\n| 数据校验 | Pydantic | API 输入输出数据校验 |\n| 数据处理 | pandas | 表格数据处理与导入导出 |\n| 图表展示 | Plotly | 成本构成可视化分析 |\n| AI 接入 | OpenAI 兼容协议 | AI 助手问答与解释 |\n| 接口通信 | HTTP / REST API | 前后端数据交互 |\n4. 功能模块设计 # 系统主要划分为六个核心功能模块。\n4.1 基础配置数据管理 # 基础配置模块用于统一维护系统中的标准数据，包括：\n单位；\n货币；\n汇率；\n区域；\n设备；\n物料类型；\n物质分类；\n物质价格。\n这些基础配置数据作为其他业务模块的统一数据标准。\n4.2 零件主数据管理 # 零件管理模块是系统的核心业务入口。\n系统维护：\n零件编码；\n零件名称；\n零件描述；\n物料类型；\n版本等信息。\n零件数据作为核心主数据，被 BOM 管理和成本计算模块共同引用。\n通过统一零件主数据来源，避免相同零件信息在多个模块中重复维护。\n4.3 BOM 管理 # BOM 模块用于维护零件之间的父子层级关系。\n系统通过 BOM 头和 BOM 明细记录：\n父零件；\n子零件；\n数量；\n单位；\n层级结构。\n用户可以从零件列表直接进入某个零件的 BOM 详情页面。\nBOM 数据支持两种主要展示方式：\n**BOM 层级树**\n**BOM 明细表**\n层级树便于理解零件整体组成结构，明细表则便于查看具体子件、数量和单位等信息。\n4.4 成本计算与分析 # 成本计算围绕单个零件展开，主要记录：\n材料成本；\n制造成本；\n间接费用；\n总成本。\n系统不仅保存最终总成本，也保留不同成本构成及其明细信息。\n成本计算页面主要划分为六部分：\n基础数据；\n材料成本；\n制造成本；\n间接费用；\n成本明细；\n结果分析。\n在结果分析页面中，通过图表展示不同成本项在总成本中的占比，使成本结果更加直观。\n4.5 元数据与数据地图 # 为了让系统中的数据做到：\n找得到、读得懂、可追溯\n项目设计了元数据字典和数据地图功能。\n系统使用：\n```text\nmetadata_dictionary.json\n```\n维护元数据字典。\n元数据主要描述：\n表名；\n表描述；\n字段名称；\n字段含义；\n数据类型；\n是否主键；\n是否外键；\n关联表；\n关联字段。\n用户可以按照表名或字段关键词进行检索，同时支持元数据文件下载。\n元数据地图连接了业务理解和数据库技术结构，使用户不仅能够使用系统数据，也能够理解数据的来源和关系。\n4.6 AI 助手 # 系统提供全局 AI 助手入口和问答面板。\n用户可以在任意页面发起问题，也可以通过快捷问题进行操作咨询或成本解读。\nAI 助手目前主要支持：\n操作路径问答；\n系统信息查询；\n数据地图解释；\nBOM 分析；\n成本分析建议；\n基于当前页面上下文进行问答；\n部分流程型任务辅助。\n系统调用 AI 时，会结合当前页面标识、当前零件或成本对象、系统关键数据摘要等上下文信息，使回答更加贴合用户当前操作场景。\n当远程模型不可用时，系统还支持本地应急降级回复，以保证基本可用性。\n5. 业务流程与数据流 # 5.1 业务流程 # 系统以零件成本管理为业务主线，整体流程为：\n```mermaid\nflowchart LR\nA[基础配置数据维护] --\u0026gt; B[零件主数据录入] --\u0026gt; C[BOM 结构维护] --\u0026gt; D[成本计算] --\u0026gt; E[成本结果分析] --\u0026gt; F[元数据地图] --\u0026gt; G[AI 辅助解释] ```\n整个业务流程围绕零件主数据展开。\n基础数据为业务提供统一标准，零件作为核心主数据支撑 BOM 和成本计算，成本结果进一步用于分析，元数据地图和 AI 助手则增强系统的数据理解与智能交互能力。\n5.2 数据流 # 系统主要数据流如下：\n用户通过前端页面输入或查询数据；\n前端通过 REST API 调用后端；\n后端按照业务域调用对应服务逻辑；\n通过 SQLAlchemy 访问 MySQL；\n数据库返回查询或操作结果；\n后端进行业务处理后返回前端；\n前端通过表格、树形结构和图表展示结果；\nAI 助手结合页面上下文和业务对象提供智能解释。\n6. 数据库与数据治理实现 # 6.1 数据库总体设计 # 数据库围绕零件成本管理业务进行设计，主要存储：\n基础配置数据；\n零件主数据；\nBOM 事务数据；\n成本报告数据；\n元数据说明信息。\n数据库采用 MySQL 进行持久化存储，后端通过 SQLAlchemy ORM 进行访问。\n整体设计思路为：\n基础配置数据作为统一标准供其他业务表引用；\n零件表作为核心主数据支撑 BOM 和成本计算；\nBOM 表和 BOM 明细表表达零件结构；\n成本表保存成本构成和计算结果；\n元数据字典描述系统表、字段和关系。\n6.2 核心数据表 # 系统核心数据表主要包括以下几类。\n基础配置类 # `unit`\n`currency`\n`currency_exchange_rate`\n`region`\n`equipment`\n`material_type`\n`material_category`\n`material`\n`material_price`\n零件管理类 # `part`\n`part_attachment`\nBOM 管理类 # `bom`\n`bom_item`\n成本计算类 # `cost_item` 其中：\n```text\npart\n```\n是系统核心主数据表。\n例如：\n```text\nbom.part_id\nbom_item.child_part_id\ncost_item.part_id\n```\n均与：\n```text\npart.id\n```\n建立关联。\n通过这种设计，BOM 和成本计算可以共享统一的零件数据来源，体现数据同源的设计思想。\n6.3 BOM 层级结构设计 # BOM 层级结构通过：\n```text\nbom\nbom_item\n```\n两类表实现。\n其中：\n`bom` 用于管理 BOM 头信息；\n`bom_item` 用于管理子件、数量、单位等明细信息。\n为了支持多层级 BOM：\n```text\nbom_item\n```\n通过：\n```text\nparent_item_id\n```\n进行自关联。\n这样可以表达树形层级结构，使 BOM 不仅能够描述单层父子件关系，也能够继续向下扩展多级零件结构。\n6.4 成本数据设计 # 成本数据以：\n```text\ncost_item\n```\n为核心。\n主要记录：\n```text\nmaterial_cost\nmanufacturing_cost\noverhead_cost\ntotal_cost\n```\n等字段。\n成本数据同时通过：\n```text\npart_id\ncurrency_id\nunit_id\n```\n分别关联：\n零件；\n货币；\n单位。\n使成本结果能够追溯到具体零件和对应计量口径。\n7. 后端实现 # 系统后端采用 FastAPI 构建 REST API 服务。\n后端主要负责：\nAPI 接口提供；\n参数校验；\n业务逻辑处理；\n数据库读写；\n成本数据处理；\nAI 助手请求处理。\n后端按照分层思想组织。\n主要包括：\n路由层；\nService 业务逻辑层；\nModel 数据模型层；\nPydantic 数据校验层。\n主要接口包括：\n```text\n/api/v1/parts\n/api/v1/boms\n/api/v1/bom-items\n/api/v1/cost-items\n/api/v1/assistant/capabilities\n/api/v1/assistant/chat\n```\n这些接口共同支撑：\n基础配置；\n零件管理；\nBOM 管理；\n成本计算；\nAI 助手；\n系统健康检查\n等核心业务流程。\n8. 前端实现 # 系统前端采用 Streamlit 实现。\n主要负责：\n页面展示；\n用户交互；\n表单录入；\n查询筛选；\n表格管理；\n图表分析；\nAPI 调用；\nAI 问答。\n前端通过：\n```text\nrequests\n```\n调用后端 API，通过：\n```text\npandas\n```\n处理表格数据，通过：\n```text\nPlotly\n```\n展示成本分析图表。\n系统已实现：\n首页工作台；\n基础配置管理；\n零件管理；\nBOM 管理；\n成本计算；\n元数据与数据地图；\nAI 助手；\n审计日志等页面。\n通用数据管理功能支持：\n列表查看；\n条件筛选；\n新增；\n编辑；\n删除；\n详情查看；\n数据导入；\n数据导出。\n9. 核心功能实现 # 9.1 零件管理 # 零件管理模块作为系统核心业务入口。\n用户可以在零件列表页面查看：\n零件编码；\n零件名称；\n物料类型；\n描述；\n版本等信息。\n同时支持：\n新增；\n编辑；\n删除；\n详情查看。\n零件数据被 BOM 管理和成本计算模块共同引用，从而保证零件信息的一致性。\n9.2 BOM 详情 # 用户可以从零件列表直接进入某个零件的 BOM 详情页面。\n系统通过：\nBOM 层级树；\nBOM 明细表\n两种方式展示 BOM 数据。\n层级树便于理解零件整体组成结构，明细表则用于展示具体子件、数量和单位等详细信息。\n9.3 成本计算 # 成本计算围绕单个零件展开。\n页面主要包括：\n基础数据；\n材料成本；\n制造成本；\n间接费用；\n成本明细；\n结果分析。\n系统保存：\n```text\n材料成本\n制造成本\n间接费用\n总成本\n```\n并在结果分析页面通过图表展示成本占比。\n9.4 元数据地图 # 元数据与数据地图模块用于帮助用户理解系统中的数据结构。\n系统通过：\n```text\nmetadata_dictionary.json\n```\n维护核心数据表及字段信息。\n支持：\n表信息查看；\n字段信息查看；\n主外键关系理解；\n表名检索；\n字段关键词检索；\n元数据文件下载。\n通过元数据地图，使数据库结构能够从“开发者可理解”进一步转化为“业务用户可解释”。\n9.5 AI 助手 # AI 助手通过：\n```text\n/api/v1/assistant/capabilities\n/api/v1/assistant/chat\n```\n提供能力查询和对话服务。\nAI 请求中可以携带：\n当前页面；\n当前零件；\n当前成本对象；\n系统关键计数摘要；\n用户历史消息。\n因此 AI 助手不仅进行普通问答，还可以结合当前业务上下文进行解释和分析。\n当前主要支持：\n操作路径问答；\n信息查询；\n数据地图解释；\nBOM 分析；\n成本分析建议；\n当前页面上下文问答。\n当远程模型不可用时，系统支持本地应急降级回复，以保证演示过程中的基本可用性。\n10. 项目特点 # 10.1 数据治理与业务系统结合 # 项目不仅完成零件成本管理功能，也将数据治理思想落实到系统实际设计中。\n系统中的：\n基础配置数据；\n主数据；\n事务数据；\n报告数据；\n元数据\n分别承担不同的数据角色。\n10.2 主数据驱动 # 系统以：\n```text\nPart\n```\n作为统一零件主数据来源。\nBOM、成本和附件等业务对象均围绕 Part 建立关系，从而减少重复维护并提升数据一致性。\n10.3 多层级 BOM # 通过：\n```text\nparent_item_id\n```\n自关联设计支持多层级 BOM。\n系统既能够通过树形结构展示整体零件组成，也能够通过明细数据查看具体业务信息。\n10.4 成本构成可视化 # 系统不仅保存最终成本，还保留：\n材料成本；\n制造成本；\n间接费用；\n成本明细。\n并通过图表展示成本构成，使成本分析更加直观。\n10.5 元数据驱动 # 项目建立元数据字典和数据地图，将数据库技术结构转化为可搜索、可理解的数据说明。\n使系统中的数据能够做到：\n找得到、读得懂、可追溯。\n10.6 上下文感知 AI 助手 # AI 助手不仅提供普通问答，还能够结合：\n当前页面；\n当前业务对象；\n当前零件；\n当前成本信息；\n系统数据摘要\n进行回答。\n使 AI 能力真正融入具体业务流程，而不是作为独立聊天模块存在。\n11. 总结 # 本项目围绕工业制造场景下的零件成本管理需求，设计并实现了一套较完整的零件成本管理系统。\n系统以 Python 技术栈为基础：\n使用 Streamlit 构建前端交互页面；\n使用 FastAPI 提供后端 REST API；\n使用 MySQL 进行数据持久化存储；\n使用 SQLAlchemy ORM 完成数据库访问；\n使用 Pydantic 完成数据校验；\n使用 pandas 处理数据；\n使用 Plotly 完成成本分析可视化；\n通过 OpenAI 兼容协议接入 AI 助手。\n最终形成：\n基础数据配置 → 零件主数据管理 → BOM 维护 → 成本计算 → 结果分析 → 元数据地图 → AI 助手\n的一体化业务流程。\n在数据治理方面，系统将基础数据、主数据、事务数据、报告数据和元数据分别落实到实际系统设计中。\n其中：\n基础配置数据体现统一语言；\n`Part` 体现主数据同源；\nBOM 体现事务数据联接；\n`CostItem` 体现报告数据分析；\n元数据字典与数据地图体现元数据驱动。\n通过这些设计，系统不仅完成了零件成本管理的业务功能，也进一步体现了工业数据管理中的：\n数据标准化；\n数据同源；\n数据可追溯；\n数据可理解；\n数据智能化应用。\n","date":"2026 年 5 月 1 日","externalUrl":null,"permalink":"/projects/%E9%9D%A2%E5%90%91%E5%B7%A5%E4%B8%9A%E6%95%B0%E6%8D%AE%E7%AE%A1%E7%90%86%E7%9A%84%E9%9B%B6%E4%BB%B6%E6%88%90%E6%9C%AC%E7%AE%A1%E7%90%86%E7%B3%BB%E7%BB%9F/","section":"项目","summary":"面向工业制造场景设计并实现的零件成本管理系统，围绕零件主数据、BOM、成本计算、元数据治理与 AI 助手构建完整业务流程，并结合数据标准化、数据同源和元数据驱动的数据治理思想。","tags":["Industrial Software","Data Governance","BOM","Cost Management","Metadata","AI Assistant"],"title":"面向工业数据管理的零件成本管理系统","type":"projects","year":"2026"},{"archived":false,"content":" 研究背景 # NIPT（无创产前检测）通过分析孕妇外周血中的胎儿游离 DNA，对胎儿常见染色体非整倍体异常进行筛查。\n在实际检测过程中，胎儿游离 DNA 浓度会受到孕周、孕妇 BMI、年龄等多种因素影响。若检测时间过早，胎儿 DNA 浓度可能不足，导致检测失败或结果可靠性下降；若检测时间过晚，又可能错过更合适的检测与干预窗口。\n因此，传统固定检测窗口的“一体适用”方案难以充分考虑孕妇之间的个体差异。\n本研究围绕这一问题，希望从统一检测时间转向基于个体特征的数据驱动推荐，构建一套覆盖：\n影响因素分析 → 浓度预测 → 检测时点优化 → 多因素联合决策 → 染色体异常识别\n的 NIPT 个性化建模体系。\n研究目标 # 研究主要围绕四个相互关联的问题展开。\nY 染色体浓度影响因素分析 # 分析检测孕周、BMI、年龄、身高、体重、染色体相关指标以及测序质量指标等因素与男胎 Y 染色体浓度之间的关系，并建立能够描述复杂非线性关系的预测模型。\n基于 BMI 的检测时点推荐 # 根据孕妇 BMI 对人群进行分层，在“尽早完成检测”和“保证胎儿 DNA 浓度达到检测要求”之间进行权衡，为不同 BMI 群体寻找综合风险较低的检测时点。\n多因素个性化优化 # 在 BMI 分层基础上进一步考虑时间、准确性、成本及分组差异等风险因素，同时优化：\nBMI 分组边界； 各组最佳检测孕周。 目标是降低整体潜在风险，使分组与检测时点推荐更加数据驱动。\n女胎染色体异常识别 # 对于无法利用 Y 染色体作为直接指标的女胎样本，综合染色体 Z 值、GC 含量、BMI、年龄和测序相关指标建立二分类模型，对 13、18、21 号染色体非整倍体异常进行风险识别。\n整体研究框架 # 整个研究形成了如下递进链路：\n数据预处理 → 特征相关性分析 → XGBoost 非线性建模 → BMI 分层风险优化 → 多因素联合优化 → 女胎异常分类与阈值优化\n主要使用的方法包括：\nShapiro-Wilk Spearman XGBoost SHAP Grid Search Monte Carlo Simulation Differential Evolution SMOTE LightGBM Precision-Recall\n数据预处理 # 由于数据来源于真实检测记录，在正式建模前首先对数据进行了清洗和标准化处理。\n样本筛选 # 针对不同研究任务分别筛选男胎和女胎样本，并保留后续模型所需要的关键检测记录。\n孕周格式转换 # 将类似：\n13w + 5\n的孕周表示转换为连续数值：\n13 + 5 / 7 ≈ 13.71\n便于进行机器学习建模和数值优化。\n缺失值与异常值处理 # 对 BMI、孕周等关键变量的缺失情况进行检查，并结合数据特征完成相应的数据补全和异常记录处理。\n重复检测处理 # 对于同一孕妇在同一日期或相同孕周存在多次检测的情况，对重复记录进行筛选，尽量避免重复样本对模型训练产生额外影响。\nY 染色体浓度影响因素建模 # 数据分布与相关性分析 # 首先结合变量分布直方图、Q-Q 图和 Shapiro-Wilk 检验分析核心变量的分布特征。\n结果表明，BMI、检测孕周、Y 染色体浓度等变量大多不满足正态分布假设，因此采用非参数的 Spearman 等级相关系数分析变量之间的单调关系。\n分析得到：\nY 染色体浓度与孕妇 BMI 呈负相关，Spearman ρ 约为 -0.152； Y 染色体浓度与检测孕周呈弱正相关，ρ 约为 0.087。 结果表明：\nBMI 越高，Y 染色体浓度总体越低；随着孕周增加，Y 染色体浓度总体呈上升趋势。\n但整体相关程度并不高，说明这些变量与 Y 染色体浓度之间并不是简单线性关系。\nXGBoost 非线性回归 # 为进一步捕捉变量之间的复杂非线性关系，研究采用 XGBoost 回归模型预测 Y 染色体浓度。\n模型首先使用候选变量进行训练，并根据特征重要性筛选关键特征，最终重点考虑：\n检测孕周； 孕妇 BMI； X 染色体浓度。 同时针对目标变量的偏态分布进行相应变换，以改善模型训练效果。\n五折交叉验证 # 采用 5 折交叉验证评估模型稳定性。\n五折 R² 分别约为：\n0.5960、0.4698、0.5777、0.5926、0.5315\n最终得到：\n平均 R² = 0.5535\n标准差 = 0.0478\n模型能够解释超过一半的 Y 染色体浓度变化，同时不同数据划分下的性能波动相对有限。\nSHAP 可解释性分析 # 为了降低机器学习模型的“黑箱”属性，进一步利用 SHAP 分析各特征对预测结果的影响。\n结果显示：\nX 染色体浓度：与预测的 Y 染色体浓度存在明显正向关系； 检测孕周：总体表现为弱正向影响； 孕妇 BMI：表现出较明显的负向影响。 因此，XGBoost 不仅能够学习复杂非线性关系，也能够通过 SHAP 对主要预测因素进行解释。\n基于 BMI 分层的检测时点优化 # 在问题一的浓度预测模型基础上，进一步研究：\n不同 BMI 孕妇应该在什么时候进行 NIPT 检测？\n其中存在一个核心权衡：\n检测过早可能导致胎儿 DNA 浓度不足，而检测过晚又会增加时间成本和潜在风险。\n因此，将检测时点选择转化为综合风险最小化问题。\nBMI 分层 # 采用基于分位数的分组方法，将样本划分为三个 BMI 群体。\n低 BMI 组\nBMI：20.70 ～ 30.65 样本量约：336 平均 BMI：29.4 中 BMI 组\nBMI：30.66 ～ 33.18 样本量约：333 平均 BMI：31.9 高 BMI 组\nBMI：33.20 ～ 46.88 样本量约：339 平均 BMI：35.5 该分组方式使各组样本规模相对接近，同时保证 BMI 区间连续且基本不重叠。\n风险最小化模型 # 研究主要考虑两类风险。\n时间效率风险\n用于描述检测时间过早或过晚所产生的时间成本与延误风险。\n浓度不达标风险\n用于描述某一孕周下胎儿 DNA 浓度未达到检测要求的可能性。\n综合风险可以概括为：\n综合风险 = 时间效率风险 + 浓度不达标风险\n针对不同候选孕周，利用 XGBoost 模型预测 Y 染色体浓度，并计算相应风险，从中寻找综合风险最低的位置。\n最佳检测时点 # 最终得到：\n低 BMI 组：14.2 周 中 BMI 组：18.2 周 高 BMI 组：25.2 周 整体呈现明显趋势：\nBMI 越高，推荐检测时点越晚。\n这一结果说明，固定使用统一检测窗口可能无法充分适应不同 BMI 群体之间的差异。\n蒙特卡洛鲁棒性分析 # 为了分析预测误差是否会显著改变最佳检测时间，在 XGBoost 预测结果中加入随机扰动。\n模拟设置包括：\n预测误差标准差约 0.5%； 每个群体重复模拟 50 次； 每次重新计算最佳检测时点。 结果显示，中低 BMI 群体推荐时间较为稳定，高 BMI 群体虽然存在一定波动，但最优时点总体仍集中在相对有限的范围内。\n说明该分层推荐策略具有一定鲁棒性。\n多因素分组与检测时点联合优化 # 固定 BMI 分组本身仍然带有一定人为设定。\n因此进一步将：\nBMI 分割点本身也作为优化变量\n让算法同时决定：\n如何划分 BMI 群体； 各群体应在什么孕周进行检测。 决策变量 # 模型需要同时搜索五个变量：\nV = (s1, s2, t1, t2, t3)\n其中：\ns1：第一个 BMI 分割点； s2：第二个 BMI 分割点； t1：低 BMI 组检测时间； t2：中 BMI 组检测时间； t3：高 BMI 组检测时间。 多因素风险函数 # 相比前一阶段，联合优化模型进一步考虑：\n时间风险\n描述检测过早或过晚导致的时间损失。\n准确性风险\n根据 XGBoost 预测结果计算浓度不达标概率。\n检测成本风险\n刻画不同检测时间对应的潜在成本差异。\n孕妇风险\n根据 BMI 水平对相关风险进行简化量化。\n分组差异惩罚\n避免出现低 BMI 人群检测过晚、高 BMI 人群检测过早等不合理组合。\n最终对这些风险项进行加权，构成整体目标函数。\n差分进化优化 # 由于目标函数同时具有非线性、非凸、分段函数以及连续和离散变量混合等特点，因此采用 Differential Evolution（差分进化）进行全局搜索。\n算法不断生成不同的：\n(s1, s2, t1, t2, t3)\n组合，并计算相应总风险，最终寻找整体风险较低的方案。\n最优方案 # 最终得到两个 BMI 分割点：\n23.89\n31.98\n对应三组推荐策略为：\n低 BMI 组\nBMI：[20.70, 23.89) 推荐：第 12 周检测 中 BMI 组\nBMI：[23.89, 31.98) 推荐：第 14 周检测 高 BMI 组\nBMI：[31.98, 46.88] 推荐：第 15 周检测 对应理论最小总风险：\n0.7551\n整体仍然呈现 BMI 越高、推荐检测时间越晚的阶梯式变化。\n误差敏感性分析 # 进一步在不同噪声水平下重复优化，以分析数据误差对最终方案的影响。\n结果表明：\n低噪声环境下模型具有较好的稳定性； 当噪声不超过约 10% 时，整体优化结果仍相对稳定； 随着噪声增大，风险评估不确定性明显增加； 高噪声下，BMI 分割点和最佳检测孕周容易出现波动。 因此，这类个性化推荐模型对临床数据质量具有较高依赖。\n女胎染色体异常识别 # 对于女胎样本，由于不存在 Y 染色体，无法直接利用 Y 染色体浓度作为判断指标。\n因此，将女胎异常识别建模为二分类问题，根据多维检测特征判断样本属于：\n正常 / 异常\n其中异常标签依据 13、18、21 号染色体非整倍体检测结果确定。\n类别不平衡处理 # 原始训练集中：\n正常样本：478 异常样本：64 异常样本仅占约：\n11.8%\n直接训练容易使模型明显偏向数量更多的正常类别。\n因此采用 SMOTE 对异常样本进行合成过采样。\n处理后：\n正常样本：478 异常样本：478 从而形成相对平衡的训练数据。\nLightGBM 分类模型 # 研究使用 LightGBM 建立女胎异常分类模型。\n输入特征主要包括：\n孕妇年龄； BMI； 各染色体 Z 值； GC 含量； X 染色体相关指标； 测序读段数； 比对比例； 其他相关生物信息学特征。 数据按照约 7 : 3 划分训练集和测试集，并采用分层抽样保持正常和异常样本比例。\n超参数优化 # 采用网格搜索与分层交叉验证优化模型参数，重点调整：\n学习率； 树深度； 叶子节点数量； 估计器数量； 子采样比例； 特征采样比例； 正则化参数。 由于异常识别属于典型类别不平衡任务，因此评价时不仅关注 Accuracy，更关注：\nPrecision Recall F1 Score\n默认模型结果 # 在默认分类阈值下：\n正常类别\nPrecision：0.91 Recall：0.93 F1：0.92 异常类别\nPrecision：0.46 Recall：0.40 F1：0.43 整体 Accuracy：\n0.86\n虽然总体准确率较高，但异常类别召回率仅为 40%。\n换言之，15 个真实异常样本中只能识别出约 6 个。\n这说明仅使用整体 Accuracy 评价模型，会掩盖模型对少数异常类别识别能力不足的问题。\nPrecision-Recall 阈值优化 # 在筛查任务中，相比误报，漏掉真实异常样本通常需要更加谨慎。\n因此进一步分析 Precision-Recall Curve，并降低分类决策阈值，提高模型对异常样本的敏感程度。\n优化后：\n异常 Recall：0.40 → 0.80\n也就是说模型能够识别约：\n80% 的真实异常样本\n与此同时，异常类别 Precision 降低至约：\n0.23\n体现出明显的 Precision 与 Recall 权衡。\n因此，该模型更适合作为高敏感度的初步风险筛查工具，而不是直接作为最终诊断依据。\n核心结果 # 本研究最终形成了从数据分析、预测建模到风险优化和异常识别的一整套建模流程。\nY 染色体浓度预测 # XGBoost 五折交叉验证：\n平均 R² = 0.5535\n标准差 = 0.0478\nBMI 分层检测时点 # 基于风险最小化模型：\n低 BMI：14.2 周 中 BMI：18.2 周 高 BMI：25.2 周 多因素联合优化 # 得到 BMI 分割点：\n23.89 / 31.98\n对应推荐孕周：\n12 周 / 14 周 / 15 周\n理论总风险：\n0.7551\n女胎异常识别 # LightGBM 经阈值优化后：\n异常 Recall：40% → 80%\n研究特点 # 从统计相关性扩展到非线性建模 # 研究没有停留在简单相关系数分析，而是进一步使用 XGBoost 学习孕周、BMI 等因素与 Y 染色体浓度之间的复杂非线性关系。\n引入模型可解释性 # 通过 SHAP 分析不同变量对预测结果的贡献方向，使模型不仅能够给出预测结果，也能够解释主要影响因素。\n从预测进一步走向决策 # 研究并不只关注“浓度能否预测”，而是进一步回答：\n什么时候检测更合适？\n通过风险函数将机器学习预测结果转化为检测时点优化问题。\n自动优化人群分组 # 进一步将 BMI 分割点也纳入决策变量，通过差分进化同时优化：\n人群分组 + 检测时点\n降低固定分组规则带来的主观性。\n关注少数异常样本 # 在女胎异常识别中，通过 SMOTE、Precision-Recall 分析和阈值优化，重点提升模型对少数异常类别的召回能力。\n使用鲁棒性分析验证方案 # 通过随机扰动与重复模拟，进一步检验预测误差和数据噪声对最终推荐结果的影响。\n模型局限 # 对数据质量依赖较强 # 模型训练、BMI 分组边界和检测时点推荐均直接依赖当前数据。\n当实际人群的 BMI 分布、年龄结构、检测设备或实验流程发生变化时，模型性能可能随之变化。\n风险函数包含人为设定 # 时间风险、成本风险、权重和分组惩罚等因素均需要进行数学化定义，因此仍然是对真实临床决策过程的简化。\n高噪声环境下稳定性下降 # 误差分析表明，随着输入误差增大：\n最优 BMI 分组更容易变化； 推荐孕周波动增加； 总风险估计不确定性上升。 因此模型需要建立在较严格的数据质量控制基础上。\n外部泛化能力仍需验证 # 当前结果主要基于已有数据完成训练和测试，在不同地区、医疗机构、人群和检测平台上的泛化能力仍需通过更多独立数据验证。\nPrecision 与 Recall 存在明显权衡 # 异常 Recall 提高到 80% 后，Precision 降低到约 23%。\n因此模型更适合作为：\n高敏感度的初步风险筛查模型\n而不是独立承担最终临床诊断。\n总结 # 本研究围绕 NIPT 检测中的个体差异和异常样本识别问题，构建了一套从统计分析、机器学习预测到风险优化与异常分类的完整数据驱动模型体系。\n在男胎分析中，研究利用 Spearman 分析变量关联，通过 XGBoost 建立 Y 染色体浓度非线性预测模型，并结合 SHAP 分析模型可解释性。在此基础上，进一步构建基于 BMI 的风险最小化模型，并使用差分进化联合优化 BMI 分组边界与检测孕周，同时通过蒙特卡洛模拟和误差敏感性分析检验方案稳定性。\n在女胎异常识别中，将任务转化为类别不平衡二分类问题，通过 SMOTE 平衡样本、LightGBM 完成分类，并结合 Precision-Recall 曲线进行决策阈值优化，将异常样本召回率由 40% 提升至 80%。\n最终形成：\n数据分析 → 非线性预测 → 风险量化 → 分组优化 → 检测时点推荐 → 异常识别\n的完整建模链路。\n相比固定检测时间的“一体适用”方式，本研究尝试利用个体特征与数据模型，为不同孕妇群体提供更加差异化的检测时点建议，并为 NIPT 个性化检测方案的进一步研究提供数据驱动的建模思路。\n关键词 # NIPT XGBoost LightGBM SHAP SMOTE 差分进化 蒙特卡洛模拟 风险优化 机器学习 医疗数据分析\n","date":"2025 年 9 月 7 日","externalUrl":null,"permalink":"/research/%E4%BB%8E%E4%B8%80%E4%BD%93%E9%80%82%E7%94%A8%E5%88%B0%E5%9B%A0%E4%BA%BA%E8%80%8C%E5%BC%82%E6%9E%84%E5%BB%BA%E6%95%B0%E6%8D%AE%E9%A9%B1%E5%8A%A8%E7%9A%84-nipt-%E4%B8%AA%E6%80%A7%E5%8C%96%E6%A3%80%E6%B5%8B%E6%96%B9%E6%A1%88/","section":"科研","summary":"面向无创产前检测（NIPT）的个体差异问题，融合 XGBoost、SHAP、风险优化、差分进化、蒙特卡洛模拟与 LightGBM，研究个性化检测时点推荐与染色体异常识别。","tags":["NIPT","Machine Learning","XGBoost","LightGBM","SHAP","Optimization"],"title":"从“一体适用”到“因人而异”：构建数据驱动的 NIPT 个性化检测方案","type":"research","year":"2025"},{"archived":false,"content":" 研究背景 # 硅藻检测是法医学溺水诊断和水质环境监测中的重要技术手段之一。\n传统硅藻检测通常依赖化学消解与显微镜人工观察，需要专业人员依据硅藻的形态、纹理和类别进行识别。该方法虽然具有一定可靠性，但仍存在检测周期长、人工成本高、主观性强以及复杂背景下识别效率低等问题。\n在扫描电子显微镜图像中，硅藻周围往往伴随颗粒噪声、组织残留和复杂纹理背景。同时，硅藻目标本身还具有细长、多尺度、方向变化明显以及局部遮挡等特点，进一步提升了检测难度。\n随着计算机视觉与深度学习的发展，利用目标检测模型实现硅藻自动识别，为提升检测效率、降低人工成本和增强检测客观性提供了新的技术路径。本研究围绕复杂背景下的硅藻检测问题展开，重点探索基于 YOLO11 的自动检测方法，并完成了可视化检测系统原型的初步搭建。\n研究目标 # 本研究旨在构建一套适用于复杂显微图像背景的硅藻自动检测方法，并完成从算法验证到系统原型的初步转化。\n具体目标包括：\n完成 YOLO11 模型的复现与训练环境搭建； 建立适用于硅藻检测任务的数据集与标注格式； 将通用目标检测模型迁移到硅藻检测场景； 分析复杂背景对检测性能的影响； 探索旋转目标检测、数据增强和背景抑制方法； 提升模型对细长目标、多尺度目标和方向变化目标的检测能力； 搭建硅藻检测系统原型，实现图像上传、模型推理与结果展示。 研究难点 # 复杂背景干扰 # 扫描电子显微镜图像中往往包含颗粒物、组织残留、噪声纹理等复杂背景，这些背景信息容易与硅藻目标产生视觉混淆，从而导致误检和漏检。\n细长目标检测 # 部分硅藻具有明显的细长结构，普通水平检测框往往会包含较多无关背景，不利于模型准确学习目标形态特征。\n目标方向变化明显 # 硅藻在图像中的朝向不固定，可能呈现水平、垂直或任意倾斜角度，因此模型需要具备较强的方向适应能力。\n多尺度问题 # 不同硅藻在图像中的尺寸差异较大，一些目标较大，一些目标较小，这对模型的多尺度特征提取能力提出了更高要求。\n遮挡与重叠 # 部分硅藻之间会出现局部遮挡、交叉和重叠现象，导致目标边界模糊，增加检测与定位难度。\n技术路线 # 本研究整体技术路线如下：\n搭建深度学习实验环境； 复现 YOLO11 目标检测模型； 整理并适配硅藻图像数据集； 开展模型训练、验证与测试； 分析复杂背景条件下的检测问题； 探索数据增强、图像增强与旋转目标检测方法； 优化模型训练策略； 搭建硅藻检测系统原型； 完成结果展示与总结分析。 模型复现与数据适配 # 研究初期首先完成了深度学习环境搭建，主要包括 Python、PyTorch、CUDA 等基础环境配置。\n在此基础上，对 YOLO11 模型的网络结构、训练流程、推理方式和数据配置方法进行了学习与复现，并通过公开示例验证训练与推理流程能够正常运行。\n随后，将研究对象从通用目标检测任务迁移到硅藻图像场景，完成了数据整理、图像格式统一、标注检查、训练集与验证集划分以及类别配置调整，使 YOLO11 能够适配硅藻目标检测任务。\n检测优化思路 # 图像增强 # 针对部分显微图像存在对比度较低、边缘模糊和噪声较强等问题，研究中对图像增强方法进行了探索，包括对比度增强、亮度调整和基础去噪，以提高目标可辨识性。\n数据增强 # 为增强模型对复杂背景的适应能力，研究中进一步引入数据增强方法，包括旋转、缩放、翻转、亮度变化、对比度变化和噪声扰动等，以提升训练数据多样性。\n背景抑制 # 由于背景颗粒和杂质纹理容易干扰模型判断，因此研究中特别关注如何降低背景信息对特征提取的影响，从而增强模型对真实硅藻结构的关注。\n旋转目标检测 # 针对硅藻细长、方向变化明显的特点，研究进一步关注旋转目标检测方法。相比普通水平框，旋转框能够更贴合目标真实形态，减少无关背景区域干扰，更适合倾斜、细长及密集分布的硅藻目标。\n标注与训练中的问题 # 数据标注成本较高 # 对于细长、弯曲和方向变化明显的硅藻目标，旋转框标注成本较高。为降低人工工作量，研究中进一步考虑利用 SAM 辅助生成预标注结果，再通过人工进行修正。\n高分辨率图像训练压力较大 # 高分辨率显微图像会带来较高的显存消耗。为适应有限硬件资源，训练过程中可采用减小 Batch Size、梯度累积和混合精度训练等策略。\n泛化能力仍需提升 # 现有数据主要来源于特定实验条件下的显微图像。当水质条件、成像设备或样本来源发生变化时，模型性能可能下降。因此后续研究重点之一是提升模型的跨场景泛化能力。\n检测系统原型 # 研究不仅停留在算法实验阶段，还进一步完成了硅藻检测系统的初步搭建。系统采用前后端分离架构，主要由前端展示层、后端服务层和模型推理服务构成。\n前端 # 前端负责图像上传、任务提交、检测结果展示以及目标位置可视化等功能，使用户无需直接接触模型代码即可完成基本检测操作。\n后端 # 后端负责接收前端请求、处理图像文件、调用模型推理服务，并将检测结果以结构化形式返回前端。\n模型推理服务 # 模型推理服务负责加载训练后的 YOLO11 模型，对输入图像进行检测，并输出目标位置、类别信息和置信度结果。\n系统实现效果 # 当前系统已经能够完成以下基本流程：\n图像上传 → 后端接收 → 模型推理 → 检测结果生成 → 前端可视化展示\n检测结果能够输出：\n硅藻目标位置； 目标类别； 检测置信度。 这说明本研究已经从单纯的算法实验进一步扩展到具备基本交互能力的应用原型。\n研究特点 # 面向真实复杂背景 # 本研究面向扫描电子显微镜图像中的真实复杂背景，而非背景简单的标准检测数据集，更强调方法在实际场景中的适用性。\n针对细长目标探索旋转检测 # 结合硅藻细长、方向变化明显的特点，研究进一步探索旋转目标检测方法，使检测框更加贴合真实形态。\n兼顾实时性与部署能力 # 选择 YOLO11 作为基础框架的重要原因之一，是其具备较好的检测效率和工程部署潜力，适合后续开展实时或准实时检测系统研究。\n从算法延伸到系统 # 项目不仅完成了目标检测模型的复现与优化，还进一步实现了前后端分离的检测系统原型，使研究具备更强的展示性与应用价值。\n探索半自动标注思路 # 针对旋转框人工标注成本较高的问题，研究进一步关注 SAM 辅助预标注和人工修正的方案，为后续大规模数据集建设提供思路。\n当前不足 # 数据规模仍然有限 # 当前实验数据主要来源于特定条件下的显微图像，不同设备、不同噪声水平和不同实验条件下的数据覆盖仍然不足。\n模型优化仍处于探索阶段 # 目前主要完成了 YOLO11 的迁移应用和基础优化，针对旋转目标、小目标和密集目标的结构性改进仍需进一步研究。\n系统仍属于原型阶段 # 当前系统主要实现了基础检测和结果展示功能，后续仍可在批量检测、结果管理、统计分析、权限控制和模型版本管理等方面继续完善。\n后续研究方向 # 后续可从以下几个方向继续推进：\n进一步研究旋转目标检测方法； 加强小目标检测能力； 引入 SAM 辅助标注以降低人工成本； 结合主动学习提升标注效率； 探索域自适应以增强泛化能力； 构造更复杂的合成背景数据； 开展轻量化部署研究，提高系统实用性。 应用价值 # 法医学辅助诊断 # 硅藻检测是溺水诊断中的重要辅助方法。自动化检测有望降低人工观察负担，并为相关法医学分析提供辅助依据。\n水质环境监测 # 不同种类和数量的硅藻与水体生态环境密切相关。自动化检测有助于服务于水体状态分析和环境监测研究。\n交叉学科研究 # 本研究融合了计算机视觉、深度学习、显微图像分析、法医学与环境监测等多个方向，具有较强的交叉学科特点。\n总结 # 本研究围绕复杂背景下的硅藻图像自动检测问题，完成了从目标检测模型复现、数据集适配、检测优化到系统原型开发的一系列工作。\n研究以 YOLO11 为基础模型，重点分析了复杂背景、细长目标、多尺度问题、方向变化和遮挡重叠等检测难点，并围绕图像增强、数据增强、背景抑制和旋转目标检测进行了针对性探索。\n在此基础上，项目进一步完成了硅藻检测系统原型的搭建，实现了图像上传、模型推理和结果可视化展示的基本流程，验证了该研究方向在法医学和环境监测场景中的应用潜力。\n","externalUrl":null,"permalink":"/research/%E5%A4%8D%E6%9D%82%E8%83%8C%E6%99%AF%E4%B8%8B%E7%A1%85%E8%97%BB%E5%9B%BE%E5%83%8F%E5%AE%9E%E6%97%B6%E9%AB%98%E6%95%88%E6%A3%80%E6%B5%8B/","section":"科研","summary":"面向扫描电子显微镜下复杂背景、细长及多尺度硅藻目标，研究基于 YOLO11 的实时检测方法，并探索旋转目标检测、背景抑制、数据增强与模型优化。","tags":["Computer Vision","Object Detection","YOLO11","Diatom Detection","Oriented Bounding Box","Small Object Detection","Deep Learning","Medical Image Analysis"],"title":"复杂背景下硅藻图像实时高效检测","type":"research"}]