对比学习和专家的混合使得生物数据库中精确的载体嵌入成为可能

科学领域:

• 生物医学信息学 生物医学信息学
• 自然语言处理自然语言处理.
• 机器学习 机器学习

背景情况:

• 变压器神经网络在句子相似性方面表现出色,但在复杂的科学文档中扎.
• 有效的矢量表示对于检索增强和搜索各种研究文献至关重要.
• 现有的模型为结构和主题各异的科学文本产生了不理想的嵌入.

研究的目的:

• 改进科学文本的载体嵌入,特别是在生物医学领域.
• 为预训练的BERT模型开发一个新的专家混合 (MoE) 扩展管道.
• 增强对异质生物医学输入的表示学习,以实现高效的搜索和编译.

主要方法:

• 使用共同引用作为生物医学领域的相似度指标组装域特定数据集.
• 引入了一个新的专家混合 (MoE) 延伸管道,应用于预训练的BERT模型.
• 训练有素的MoE变体,根据科学摘要对共同引用的出版物进行分类,使用独特的路由方案.

主要成果:

• 专家组合 (MoE) 变体显示了对科学文本的改进的矢量嵌入.
• 独特的路由方案确保了MoE系统保持与普通变压器相同的吞吐量.
• 该方法在高效编码异构的生物医学输入方面表现有前途.

结论:

• 拟议的MoE延伸管道为编码各种生物医学文件提供了多功能和高效的解决方案.
• 代表性学习的进步可以显著提高向量数据库搜索和科学文献的编译.
• 这种方法为科学信息检索中的一个尺寸适合所有变压器网络铺平了道路.