传感器融合用于目标检测,使用基于LLM的转移学习方法
Yuval Ziv1,2, Barouch Matzliach2, Irad Ben-Gal1,2
1Department Industrial Engineering, Tel-Aviv University, Tel-Aviv 6997801, Israel.
Entropy (Basel, Switzerland)
|September 27, 2025
概括
本研究介绍了一种使用大型语言模型 (LLM) 的新传感器融合方法,用于提高自主代理对象的目标检测. 这种方法提高了群体管理和噪音条件下的性能,即使在边缘设备上也是如此.
科学领域:
- 机器人技术和自主系统
- 人工智能的人工智能
- 传感器融合式传感器
背景情况:
- 传统的传感器融合方法通常依赖于理论模型,将传感器视为独立的.
- 现实世界的数据带来了诸如噪音和缺陷等挑战,影响了自主代理的性能.
- 整合来自不同传感器 (如光学传感器和激光雷达) 的数据仍然是一个重大障碍.
研究的目的:
- 引入一种新的传感器融合方法,使用自主移动代理来检测多个静态和移动目标.
- 利用现实世界的传感器数据,并通过大型语言模型 (LLM) 框架将其整合起来.
- 在具有挑战性的环境中提高目标检测精度,回忆和计算效率.
主要方法:
- 开发了一种基于LLM转移学习 (LLM-TLFT) 的方法来创建一个全球概率图.
- 使用深度学习将现实世界的光学和LIDAR传感器数据转化为传感器特定的概率图.
- 通过LLM框架集成概率图,使传感器依赖性的解释.
主要成果:
- 与现有方法相比,表现出显著的性能改进 (独立意见库,CNN,GPT-2与深度转移学习).
- 实现了更高的精度和回忆力,特别是在噪音高和传感器不完美的情况下.
- 通过基于知识的蒸 (蒸的TLFT) 成功实现模型压缩,用于边缘设备部署.
结论:
- 拟议的LLM-TLFT方法为自主代理的多目标检测提供了一个强大的解决方案.
- 该方法有效地处理现实世界的传感器数据,包括噪音和缺陷,优于传统技术.
- 该方法促进了高效的群体管理,并通过模型压缩实现了对边缘设备的部署.
