Jove
Visualize
联系我们
JoVE
x logofacebook logolinkedin logoyoutube logo
关于 JoVE
概览领导团队博客JoVE 帮助中心
作者
出版流程编辑委员会范围与政策同行评审常见问题投稿
图书馆员
用户评价订阅访问资源图书馆顾问委员会常见问题
研究
JoVE JournalMethods CollectionsJoVE Encyclopedia of Experiments存档
教育
JoVE CoreJoVE BusinessJoVE Science EducationJoVE Lab Manual教师资源中心教师网站
使用条款与条件
隐私政策
政策

相关实验视频

光学流作为时空注意力学习者

Yawen Lu, Cheng Han, Qifan Wang

    IEEE transactions on pattern analysis and machine intelligence
    |October 3, 2024
    PubMed
    概括
    此摘要是机器生成的。

    TransFlow是一种新的变压器架构,通过提高运动精度和恢复丢失的细节来增强光学流量估计. 这种方法提供了一个更简单的培训方法,并在基准数据集上取得最先进的结果.

    相关实验视频

    相关概念视频

    您也可能阅读

    相关文章

    通过共同作者、期刊和引用图与本文相关的文章。

    排序
    Same author

    Long-distance lanthanide migration regulated by interfacial lattice strain in nanostructures.

    Nature communications·2026
    Same author

    High-Efficiency Production of <i>N</i>-Acetyllactosamine (LacNAc) Using a Cell-Coupled Biocatalytic Strategy with Engineered <i>Escherichia coli</i> and <i>Saccharomyces cerevisiae</i>.

    ACS synthetic biology·2026
    Same author

    Development and application of an intelligent assessment system for medical clinical skill training.

    NPJ digital medicine·2026
    Same author

    Cellular Coupling Fermentation Utilizing Engineered <i>Escherichia coli</i> and Yeast for Efficient Biosynthesis of Sialyllacto-N-tetraose a via Modular Strategy.

    Journal of agricultural and food chemistry·2026
    Same author

    Engineering phage endolysins and receptor-binding proteins for foodborne pathogen control and detection: A review and AI-driven framework.

    International journal of food microbiology·2026
    Same author

    A Wireless Battery-Free Probe-Free Disposable Electrical-Digital-PCR Chip.

    IEEE transactions on biomedical circuits and systems·2026
    Same journal

    HardFlow: Hard-Constrained Sampling for Flow-Matching Models Via Trajectory Optimization.

    IEEE transactions on pattern analysis and machine intelligence·2026
    Same journal

    Industrial Brain: Self-Evolving Neuro-Symbolic Autonomy with Causal Resilience for Cyber-Physical Systems.

    IEEE transactions on pattern analysis and machine intelligence·2026
    Same journal

    Adaptive Hardness-Driven Dictionary Distillation for Incomplete Streaming View Clustering.

    IEEE transactions on pattern analysis and machine intelligence·2026
    Same journal

    Mixture of Global and Local Experts with Diffusion Transformer for Controllable Face Generation.

    IEEE transactions on pattern analysis and machine intelligence·2026
    Same journal

    Task-KV: Task-aware KV Cache Optimization via Semantic Differentiation of Attention Heads.

    IEEE transactions on pattern analysis and machine intelligence·2026
    Same journal

    Achieving Text-based Person Retrieval with Any Granularity.

    IEEE transactions on pattern analysis and machine intelligence·2026
    查看所有相关文章

    科学领域:

    • 计算机视觉 计算机视觉
    • 深度学习 (Deep Learning) 是一种深度学习.
    • 人工智能的人工智能

    背景情况:

    • 光流估计对于计算机视觉任务至关重要,例如运动估计和对象跟踪.
    • 目前基于卷积神经网络 (CNN) 的方法在准确性和处理复杂场景方面存在局限性.

    研究的目的:

    • 介绍TransFlow,用于光学流量估计的基于变压器的架构.
    • 展示TransFlow比现有的基于CNN的方法的优势.
    • 评估TransFlow在各种计算机视觉基准和下游任务上的表现.

    主要方法:

    • 利用空间自我注意力和交叉注意力机制来增强相关性和匹配.
    • 采用远程时间协会来恢复封闭或动作模糊的信息.
    • 实施了一个简洁的自我学习范式,消除了复杂预训练的需要.

    主要成果:

    • 在Sintel和KITTI-15光流量基准上实现了最先进的性能.
    • 在3D场景流量估计中表现出卓越的性能.
    • 在下游任务中展示了有效性:视频对象检测,插值和视频稳定.

    结论:

    • 在光学流量和场景流量估计中,TransFlow提供了更高的准确性和稳定性.
    • 变压器架构有效地捕捉全球依赖性,并处理具有挑战性的视觉数据.
    • 转流作为一个多功能和有效的基线,为未来的运动估计研究.