Jove
Visualize
联系我们
JoVE
x logofacebook logolinkedin logoyoutube logo
关于 JoVE
概览领导团队博客JoVE 帮助中心
作者
出版流程编辑委员会范围与政策同行评审常见问题投稿
图书馆员
用户评价订阅访问资源图书馆顾问委员会常见问题
研究
JoVE JournalMethods CollectionsJoVE Encyclopedia of Experiments存档
教育
JoVE CoreJoVE BusinessJoVE Science EducationJoVE Lab Manual教师资源中心教师网站
使用条款与条件
隐私政策
政策

相关概念视频

您也可能阅读

相关文章

通过共同作者、期刊和引用图与本文相关的文章。

排序
Same author

Unsupervised monocular depth estimation with omnidirectional camera for 3D reconstruction of grape berries in the wild.

PloS one·2025
Same author

ViTSTR-Transducer: Cross-Attention-Free Vision Transformer Transducer for Scene Text Recognition.

Journal of imaging·2023
Same author

Examining Participant Adherence with Wearables in an In-the-Wild Setting.

Sensors (Basel, Switzerland)·2023
Same author

Estimation of reading subjective understanding based on eye gaze analysis.

PloS one·2018

相关实验视频

Updated: Jul 10, 2025

Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment
08:25

Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment

Published on: May 7, 2019

9.0K

可以解释的基于连接主义的时间分类的场景文本识别.

Rina Buoy1, Masakazu Iwamura1, Sovila Srun2

  • 1Department of Core Informatics, Graduate School of Informatics, Osaka Metropolitan University, Osaka 599-8531, Japan.

Journal of imaging
|November 24, 2023
PubMed
概括
此摘要是机器生成的。

本研究引入了一种用于场景文本识别 (STR) 的新方法,该方法将连接主义时间分类 (CTC) 的效率与改进的可解释性相结合. 该方法提高了STR模型中的字符定位和预测透明度.

关键词:
角色本地化 角色本地化连接主义的时间分类.模型可解释性模型可解释性场景文本识别 场景文本识别视觉变压器 视觉变压器

更多相关视频

Author Spotlight: Addressing Technical and Subjective Challenges in Measuring Classroom Attention
06:37

Author Spotlight: Addressing Technical and Subjective Challenges in Measuring Classroom Attention

Published on: December 15, 2023

3.8K
P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation
06:09

P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation

Published on: September 8, 2023

603

相关实验视频

Last Updated: Jul 10, 2025

Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment
08:25

Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment

Published on: May 7, 2019

9.0K
Author Spotlight: Addressing Technical and Subjective Challenges in Measuring Classroom Attention
06:37

Author Spotlight: Addressing Technical and Subjective Challenges in Measuring Classroom Attention

Published on: December 15, 2023

3.8K
P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation
06:09

P300-Based Brain-Computer Interface Speller Performance Estimation with Classifier-Based Latency Estimation

Published on: September 8, 2023

603

科学领域:

  • 计算机视觉 计算机视觉
  • 机器学习 机器学习
  • 人工智能的人工智能

背景情况:

  • 连接主义时间分类 (CTC) 由于其效率在场景文本识别 (STR) 中被广泛使用,但由于其依赖于1D序列,缺乏可解释性.
  • 现有的基于2D注意力的方法提供了更好的准确性和本地化,但在计算上是密集的,带来了延迟挑战.

研究的目的:

  • 开发一种低延迟的STR方法,通过字符定位提供模型可解释性.
  • 通过使它们能够处理2D空间信息以提高可解释性来增强1D CTC解码器.

主要方法:

  • 提出一种基于边缘化的方法来处理二维特征图,预测高度和类维度的联合概率分布.
  • 引入了一个"关联地图"用于字符定位和解释,在基于注意力的模型中扮演着类似于交叉注意力地图的角色.
  • 视觉变压器 (ViT) 与1D CTC解码器 (ViT-CTC) 架构相结合,用于STR.

主要成果:

  • 在对基准的识别准确性方面,ViT-CTC模型的表现优于基于CTC的最先进 (SOTA) 方法.
  • 与基线变压器解码器模型相比,ViT-CTC模型的速度提升高达12倍,精度降低最小.
  • 从关联图估计的字符位置显示与地面真实界限框和交叉注意力图有很强的对齐.

结论:

  • 提出的基于边缘化的方法成功地将字符本地化和可解释性集成到STR的1D CTC解码器中.
  • 对于场景文本识别任务,ViT-CTC提供了高识别准确度,低延迟和增强的模型解释性的令人信服的平衡.