基于合成数据驱动的混合现实辅助装配系统构建方法

摘要

针对工业装配场景中混合现实（MR）辅助系统部署面临的训练数据获取难、标注成本高、端侧推理性能受限等问题，本文提出一套以合成数据为驱动的MR辅助装配系统端到端构建方法。该方法覆盖从合成训练数据生成到MR头戴设备端侧部署的完整流程。首先，设计并实现了一款基于Blender Python API的批量渲染插件，通过参数化相机轨道、多HDRI环境贴图切换和域随机化策略，从三维CAD模型自动批量生成带标注的合成训练图像，显著降低数据采集与人工标注成本。其次，采用轻量化YOLO11n目标检测网络对合成数据集进行训练，并通过ONNX中间格式将训练模型转换部署至Unity Sentis推理引擎，实现在Meta Quest 3 MR头显上的实时端侧目标检测。在此基础上，结合空间场景理解（MRUK）和二维检测到三维空间锚点的坐标映射，构建了一套包含零件识别、空间锚定、装配引导动画和有限状态机（FSM）流程管控的完整MR辅助装配平台。