使用大型语言模型来提高传感器数据的可重复使用性

科学领域:

• 计算机科学 计算机科学
• 数据科学数据科学数据科学
• 物联网的物联网,就是物联网.

背景情况:

• 物联网 (IoT) 产生了大量的数据,但其潜力受到数据可访问性和互操作性问题的限制.
• 传感器数据通常被锁定在专有格式或难以处理的Web格式 (如HTML),阻碍第三方访问和重用.
• 像欧洲数据法案这样的法规旨在改善数据获取,但没有完全解决数据结构和互操作性的技术挑战.

研究的目的:

• 开发和评估一种方法来将原始,不可互操作的传感器数据转换为结构化,可重复使用的格式.
• 利用大型语言模型 (LLM) 来实现自动化数据转换和结构化.
• 用现实世界的传感器数据,特别是气象数据来证明这种方法的有效性.

主要方法:

• 开发了一种新的方法来从网络门户中提取传感器数据.
• 使用包括GPT-4在内的大型语言模型,将传感器数据从不可互操作的格式 (例如HTML) 转换为结构化格式 (例如JSON,XML).
• 使用气象数据进行了定量和定性评估,以评估基于LLM的转换的性能.

主要成果:

• 提出的方法成功地将原始传感器数据转换为结构化格式,提高了可重复使用性.
• 作为领先的LLM,GPT-4在将HTML转换为JSON/XML方面取得了很高的性能,精度为93.51%,回忆率为85.33%.
• 结果证实了使用LLM来克服传感器数据互操作性挑战的可行性和有效性.

结论:

• 大型语言模型为转换和结构化传感器数据提供了强大的解决方案,释放了数据驱动创新的潜力.
• 通过解决格式和互操作性障碍,开发的方法显著提高了传感器数据的可重复使用性.
• 这种方法为在各种应用中更容易使用和更有价值地利用物联网产生的数据铺平了道路.