Транскрибування з урахуванням мовців
Діаризація та ідентифікація мовців: у чому різниця
Перша відповідає на запитання «хто коли говорив?» за допомогою анонімних груп. Друга визначає, чи належить голос відомій людині. Плутанина між ними призводить до неправильних налаштувань та очікувань.
Транскрипт може розрізняти учасників, не знаючи, хто вони. Він також може розпізнати відомий голос, але лише після реєстрації та зіставлення цього голосу. Це пов'язані завдання, проте вони розв'язують різні проблеми й помиляються по-різному.
Два окремі запитання
Діаризація: хто коли говорив?
Діаризація аналізує запис, виявляє ділянки мовлення, виділяє голосові характеристики й об'єднує схожі ділянки в кластери. Результат — часова шкала з анонімними групами:
00:00-00:12 Speaker_000:12-00:25 Speaker_100:25-00:41 Speaker_0
Системі не потрібно знати імена людей. Це корисно для інтерв'ю, зустрічей, подкастів і дзвінків, де в читабельному транскрипті потрібно позначити чергування мовців.
Ідентифікація: хто з відомих людей це говорить?
Ідентифікація порівнює виявленого мовця з бібліотекою відомих зразків голосу. Коли збіг перевищує поріг ідентифікації, анонімну мітку можна замінити ім'ям. В Owl Meeting ця бібліотека зберігається локально й керується на сторінці мовців.
Для ідентифікації потрібна попередня реєстрація. Якщо людини немає в бібліотеці, система не може визначити її справжню особу лише із запису.
| Діаризація | Ідентифікація | |
|---|---|---|
| Головне запитання | Хто коли говорив? | Чи це відома зареєстрована людина? |
| Попередні зразки | Не потрібні | Потрібні для автоматичного присвоєння імен |
| Типова мітка | Speaker_0 | Олексій, Прія, Інтерв'юер |
| Головне налаштування | Кількість мовців або поріг кластеризації | Мова голосового відбитка й поріг ідентифікації |
| Типова помилка | Одну людину розділено або двох об'єднано | Відому людину не знайдено або визначено неправильно |
Як працює поєднаний процес
Коли для транскрибування файлу ввімкнено обидві функції, порядок має значення:
- Виявлення мовлення. Запис поділяється на ділянки, що містять мовлення.
- Кластеризація голосів. Діаризація об'єднує ділянки, які, ймовірно, належать одному голосу.
- Порівняння з відомими зразками. Identity Mark порівнює кожну отриману групу з локальною бібліотекою голосових відбитків.
- Застосування імені після досягнення порога. Упевнений збіг замінює тимчасову мітку; групи без збігу залишаються анонімними.
- Розпізнавання й перевірка тексту. Розпізнавання мовлення створює транскрипт, а користувач звіряє мітки та слова з вихідним аудіо.
Налаштування впливають на різні типи помилок
Кількість мовців
Якщо кількість учасників відома, її зазначення створює корисне обмеження для кластеризації. Автоматичне визначення доречне, коли кількість невідома, але тоді результат сильніше залежить від порога кластеризації та якості запису.
Поріг кластеризації
Цей параметр визначає, яку різницю допускає діаризація в межах однієї групи мовця. Надто чутливе налаштування може поділити одну людину на кілька міток. Надто поблажливе — об'єднати два схожі голоси. Перевіряйте поріг на уривку зі справжніми змінами мовців.
Мова голосового відбитка
Owl Meeting має окремі китайську й англійську моделі голосових відбитків. Мови зразків і налаштувань транскрибування мають бути сумісними, інакше ідентифікація може не спрацювати, навіть якщо діаризація працює.
Поріг ідентифікації
Поріг визначає потрібну силу збігу перед застосуванням відомого імені. Підвищення зменшує слабкі збіги, але може залишити відомих людей без імен. Зниження дає змогу визначити більше сегментів, проте збільшує ризик неправильного імені. Якщо особа має значення, віддавайте перевагу консервативному автоматичному присвоєнню.
Створюйте корисні зразки голосу
Зразок має представляти людину, а не кімнату. Використовуйте чистий уривок лише з цільовим мовцем, без накладання, гучної музики чи іншого голосу на тлі. У поточному процесі Owl Meeting практичний діапазон становить 5–30 секунд.
Одна людина може звучати по-різному через конференц-мікрофон, телефон, гарнітуру чи віддалений кімнатний мікрофон. Кілька репрезентативних зразків допоможуть, якщо робочі записи надходять із таких різних умов. Не додавайте багато майже однакових низькоякісних уривків: більше даних не завжди означає кращі дані.
Визначте джерело помилки мітки, перш ніж змінювати все
| Симптом | Імовірний рівень | Що перевірити спочатку |
|---|---|---|
| Одна людина позначена як два мовці | Діаризація | Кількість мовців, поріг, зміни мікрофона або фоновий шум |
| Двоє людей мають одну мітку | Діаризація | Установіть відому кількість або підвищте чутливість кластеризації |
| Групи правильні, але імен немає | Ідентифікація | Identity Mark, мова голосового відбитка, зразки й поріг ідентифікації |
| Ім'я призначено неправильній групі | Ідентифікація | Підвищте поріг і замініть забруднені зразки |
| Мітки правильні, але слова неправильні | Розпізнавання мовлення | Модель розпізнавання, якість аудіо, мова й словник |
Розділення цих рівнів запобігає типовій помилці: зміні моделі розпізнавання для виправлення кластеризації або зміні кількості мовців для виправлення слів. Оцінюйте межі мовців, імена й текст незалежно.
Знайте обмеження
- Одночасне мовлення складно розподілити, бо два голоси займають ту саму часову ділянку.
- Дуже короткі репліки можуть не містити достатньо голосової інформації для стабільної кластеризації чи ідентифікації.
- Голос людини змінюється через хворобу, емоції, відстань, мікрофон, стиснення й канал.
- Схожі голоси можуть об'єднуватися, а один мінливий голос — розділятися.
- Автоматично призначені імена слід перевіряти перед використанням в офіційних протоколах, кодуванні досліджень або доказах.
Інструкції з налаштування дивіться в розділі «Керування мовцями». Кластеризацію й пороги для файлів описано в розділі «Транскрибування файлів».
Поширені запитання
Чи визначає діаризація імена людей?
Ні. Діаризація поділяє запис на групи мовців, як-от Мовець 0 і Мовець 1. Щоб визначити групу як конкретну людину, потрібен окремий етап зіставлення особи або ручне позначення.
Чи потрібні зразки голосу для діаризації?
Ні. Діаризація може групувати різні голоси без попередньо зареєстрованої бібліотеки. Зразки потрібні, коли система має порівняти групу мовця з відомими людьми й автоматично застосувати їхні імена.
Чому одну людину розділено на дві мітки мовця?
Голос людини може змінюватися через відстань, мікрофон, емоції, шум або канал. Автоматичний поріг кластеризації також може бути надто чутливим. Укажіть відому кількість мовців або скоригуйте поріг і перевірте результат.
Почніть з анонімних груп мовців
Спочатку переконайтеся, що діаризація правильно визначає межі мовців. Додавайте ідентифікацію лише після стабілізації групування.