OsiriXGPT:一个创新的AI副驾驶插件,用于在扫描到扫描报告工作流程中无部署生成AI模型

科学领域:

• 医学成像和人工智能 医学成像和人工智能
• 放射学工作流的优化 工作流的优化
• 开源软件开发 开源软件开发

背景情况:

• 生成型人工智能 (GenAI) 在放射学中提供了变革性的潜力,包括减少报告负担和增强诊断工作流程.
• 放射学中GenAI的有限研究和采用源于缺乏与现有的医疗成像观看器无集成.
• 弥合这一差距对于释放AI在临床实践中的全部好处至关重要.

研究的目的:

• 介绍OsiriXgrpc,一个开源API插件,旨在实现OsiriX DICOM查看器和AI驱动工具之间的实时通信.
• 展示OsiriXgrpc在促进AI产生的输出在临床放射学环境中的集成和可视化方面的能力.
• 展示开发了一个用于放射学的人工智能副飞行员,利用OsiriXgrpc进行代用户-人工智能交互.

主要方法:

• 开发OsiriXgrpc,这是一个开源的API插件,用于OsiriX,一个CE标记和FDA批准的DICOM查看器.
• 整合GenAI模型,包括大语言模型 (LLM),视觉语言模型 (VLM) 和细分模型 (例如,细分任何模型 - SAM).
• 实施放射学人工智能副飞行员,实现"请求-响应"交互,并在OsiriX.X内实时可视化人工智能输出.

主要成果:

• 成功实现了OsiriXgrpc,证明了OsiriX与各种GenAI模型之间的无实时通信.
• 从LLM和VLM产生的人工智能生成的文本输出的可视化,以及在OsiriX观看器内由SAM生成的感兴趣区域 (ROI).
• 验证OsiriXgrpc能够支持各种AI任务的概念验证,包括文本生成和图像细分.

结论:

• OsiriXgrpc有效地弥合了DICOM观看器和GenAI工具之间的整合差距,为放射学中先进的AI应用铺平了道路.
• 开发的AI Co-pilot展示了OsiriXgrpc在放射学中实时AI交互和输出可视化方面的实际实用性.
• OsiriXgrpc有可能在临床试验和常规医疗保健中降低GenAI的采用障碍,特别是在资源有限的环境中.