负责人：周鹏

成 员：袁莎、马博渊

研究方向：

视觉机器学习、多模态大模型、工业智能、数据挖掘技术；旨在构建统一的多模态基座模型、探索小样本学习与泛化持续学习机制，聚焦前沿技术与多学科交叉研究，实现“感知—决策—执行—协同”的全栈能力研究与实际应用。

视觉机器学习：聚焦于机器学习与计算机视觉交叉融合，通过算法让机器从视觉数据中自动学习特征，在识别、检测、测量和定位领域展开理论与实践相结合的深入探索。针对传统深度学习模型在复杂场景中存在的局限性，提出了多项模型创新，包括引入主流网络架构、设计自适应学习率调整机制及新型损失函数，从而有效实现模型在实际应用中的鲁棒性提升与泛化性增强。同时，引入光学设计理论，构建光学设计与模型分析知识框架，实现图像采集-模型分析-系统集成的落地应用，通过跨学科协同解决视觉中的精度、效率与适应性挑战。

多模态大模型：聚焦于多模态预训练框架、分层特征提取机制和动态推理能力方面研究，旨在提升模型的全局信息捕捉能力、增强模型的泛化能力、优化模型架构和训练方法以及提高模型的计算效率，探索其在复杂任务如分布式数据处理和工业场景中的应用‌，旨在为工业知识高效传播与应用提供坚实的智能引擎。

工业智能：聚焦视觉模型与机器控制的深度融合，通过集成先进的图像分割与识别技术，结合机械臂、机器狗、生产线PLC等智能执行机构，构建具备自主感知-决策-执行能力的闭环系统，推动智能化操作在工业自动化检测与智能制造领域的突破。‌ 具体实现以下关键方向：1）‌零样本学习与动态环境适应‌：通过视觉感知与强化学习的协同，提升系统在未知场景下的自主决策能力，实现复杂动态环境的实时响应与优化控制。2）‌计算效率优化与自适应控制框架‌：开发基于视觉感知与深度强化学习的自适应控制与优化调度模型，降低计算资源消耗，提升工业场景下的执行精度与效率。

实验条件：

实验室拥有：

1、各类型成像仪器，包含：2D相机（线阵相机、面阵相机）、3D相机（结构光相机、光栅相机）、多光谱相机、高光谱相机；各焦段定焦镜头、鱼眼镜头等；以及各类型光源。

2、静态光学平台、动态光学平台、光学支架、棱镜等。

3、机械臂、移动小车、机器狗、无人机。

4、华为实验室，5G，5G-A专网，直连华为北研所、西研所。

5、算力平台。

科研落地：

主持国家重点研发计划课题、国家自然科学和北京市基金面上项目等。获得北京市科技进步一等奖、冶金科技进步一等奖等省部级科研奖励6项。担任IEEE Transactions等国际期刊的审稿专家，以及多次担任国内外顶级学术会议委员会委员。

注重理论联系实践，与华为共建了5G+工业视觉联合实验室，自主研发了视觉控制系统、视觉在线检测与测量系统、和视频智能分析系统，为企业实现智能制造提供智能装备支撑。

科研成果在NPJ Comput Mater（Nature系列期刊）, AAAI（CCF-A）, IJCAI（CCF-A）, Pattern Recognition, Expert System with Applications, Artificial Intelligence Review等国内外顶级期刊和会议上发表SCI/EI论文40多篇。