识别质量

改善噪声、口音和专业术语场景的转写效果

先找出错误来源,再逐项测试录音、预处理、模型、分段和修正方法。

简短回答从最清晰的可用录音和支持口语语言的模型开始。选取一段包含真实噪声、口音和术语的样本,每次只更改一个变量,并与原始音频比较。噪声采用克制的预处理,口音使用实际说话人测试模型,专业术语则通过经过检查的词表和批量修正处理。最终效果始终取决于录音和模型。

所谓“准确率问题”并非只有一个原因。遗漏的词可能被风扇声淹没、被语音活动检测截断、超出模型熟悉范围,也可能在编辑时被错误替换。对所有错误都加强降噪或改用更大的模型,既浪费时间,也可能让部分录音变差。

修改完整工作流前,先建立一个小型评估样本。它应包含轻声语音、嘈杂片段、各种相关口音的说话人、反复出现的专业术语,以及实际会出现的重叠语音。把预期文字放在音频旁作参考,但也要判断关键含义,而非只比较标点。

诊断错误模式

错误模式 优先检查 首次对比
停顿附近的词消失 语音活动或片段边界 放宽阈值或保留更长上下文
持续嗡声下错误增多 音源噪声和麦克风距离 原始与轻度降噪样本
某位说话人错误更多 模型覆盖、音量、距离、重叠 用候选模型测试同一人
姓名在全文中写法不一 领域词汇和修正流程 术语表加批量检查
两个声音合成一个句子 语音重叠和说话人分离 说话人分段并人工收听

处理噪声时不要损伤语音

最有效的改善通常发生在录制阶段:让麦克风靠近目标说话人,避开笔记本风扇和桌面振动,减少房间混响,并防止远程音频再次进入开放的麦克风。对于现有文件,先选择最清晰的音轨,再考虑预处理。

  • 持续噪声:轻度降噪可能有助于处理风扇或空调声。注意辅音是否变弱,以及是否产生金属感。
  • 变化噪声:键盘敲击、音乐、交通声和其他人声很难在不影响语音的情况下去除,仍需人工检查。
  • 音量低:提高音量也会放大噪声。避免削波,不要未经比较就盲目标准化。
  • 立体声问题:若一个声道含有回声或重复语音,可测试较干净的声道或单声道转换,同时保留原文件。
  • 重叠语音:多个声音同时出现时,没有预处理能可靠还原每个词。

每次比较都在同一片段上使用测试模式。当前预处理和分段控件请参阅文件转写文档

使用代表性语音评估口音

口音不是需要消除的缺陷。识别结果存在差异,是因为模型对语言和语音特征的覆盖不同,同时每位说话人还受到麦克风、房间、语速和词汇的影响。选择模型时应使用说话人的真实音频,而不能用另一个人的标准录音代替。

条件允许时应保留较长的语言上下文。过短片段可能失去用于判断发音的前后词语。不要为了“修正”而改变说话人的原意,也不要抹去其有意使用的表达。必要时,请熟悉该语言变体的人检查姓名和重要陈述。

建立专业术语修正闭环

  1. 收集预期术语。利用议程、参与者名单、产品目录、缩写和专有名词建立精简词表。
  2. 记录常见错误形式。首次转写后,记录术语实际被识别成什么,而不是猜测所有可能错误。
  3. 谨慎进行精确替换。短字符串也可能出现在无关词语中,批量处理前应检查所有匹配项。
  4. 保存可复用规则。将稳定修正加入自定义词典,同时合理限制项目专用词的使用范围。
  5. 结合上下文验证。替换后的拼写即使正确,也可能不符合该句含义。
Owl Meeting 中用于删除词语和替换常见转写术语的自定义词典规则
词典和替换规则能让常见修正保持一致,但每条规则都应检查是否误匹配。

结合测试模型与分段

模型在不同语言、口音、声学环境和术语下可能表现不同。先选择支持口语语言的模型,再在固定评估样本上比较。不要仅根据下载体积推断效果。还应测试片段边界:更多上下文可能有利于识别,而较小片段可能更便于阅读和归属说话人。

会议中,说话人分段有助于整理声音,但不会解决词语识别错误,并且在语音重叠时可靠性会下降。如果参与人数已知,输入人数可为聚类增加约束。应将说话人归属与文字本身分开检查,避免把正确句子分给错误的人。

使用受控的检查清单

  • 保留原始音频以及每次比较所用设置。
  • 每次只更改一个变量,并使用相同评估片段。
  • 对照播放检查姓名、数字、否定词、日期、决定和行动项。
  • 应用词典规则后,搜索反复出现的错误形式。
  • 对无法听清的部分明确标注,而不要编造词语。
不存在通用的准确率设置效果取决于源录音、口语语言、说话人、模型、分段和检查。对持续噪声有效的改动可能损伤轻声辅音;适合一位说话人的模型也未必最适合另一位。

常见问题

降噪一定会改善转写吗?

不一定。降噪可能减弱持续背景声,但过强处理也可能移除语音细节或产生失真。处理完整录音前,应在代表性样本上与原始录音比较。

自定义词典能让识别器理解所有专业术语吗?

不能。词典最可靠的用途是识别后进行一致的修正和替换;它对识别过程的影响取决于产品和模型。对于听不见或被另一声音覆盖的术语,词典也无法还原。

口音本身是录音问题吗?

不是。口音是正常的语言表现形式。模型对某种语言特征的覆盖有限,或口音差异与噪声、距离、语速及上下文不足共同出现时,可能产生错误。应使用实际说话人的录音测试模型,并以尊重的方式校对。

在同一段困难样本上比较设置

选择包含真实说话人、噪声和术语的片段,将每次改动与未处理的原始录音比较。