研究者提出手语反向词典：视频字幕与描述检索实现开放词表手语识别
该方法通过描述手语动作而非标注词目，让模型识别训练中未见的手语，无需任何gloss标注，在日本手语数据上对未见类别的top-10检索率达21%，优于未微调基线。
AI解读：传统手语识别模型把每个手势当成一个固定标签，遇到训练时没见过的动作就失效，而且每种手语都绑定一份人工标注的词目表，换语言就得重来。这项研究换了个思路：先让视觉语言模型把一小段手语视频用自由文字描述出来，比如手怎么动、指尖怎么摆，再用多语言句子编码器把这段话跟目标描述库里的条目做匹配，相当于给手语建了一个不需要gloss词典的“反查字典”。对使用者和开发者的直接意义在于：新动作不再需要预先编进词表，识别系统可以跟随语言使用自然扩充，为手语翻译工具、教学或人机交互铺了一条不依赖昂贵标注的路。需要冷静的一点是，这仍是论文阶段，公开数据只有1,300段日手语片段、503个目标条目，未见类别21%的top-10准确率离实用还有距离，作者也承认瓶颈在字幕质量而非匹配模块。相关团队可以参考这个两段式框架做预研，但没有现成工具可立即落地，普通用户暂不用采取行动。
arXiv预印本论文提出一个无需gloss标注即可识别连续手语中未见动作的开放词表方法。研究者在503条目目标词表、1,300段来自日本手语对话语料库的手语级片段上测试，未见类别top-10检索从11.5%提升到21%（p=0.0094），远超2%的随机基线；见类别检索也从4.5%上升到49%。该方法利用开放权重视觉语言模型将手语片段生成程序性操作描述，再用多语言句编码器从目标描述词库中检索出最接近的匹配项，本质上是逆向手语词典。论文作者为Santiago Poveda-Gutiérrez、Hideki Nakayama和Mayumi Bono。