화자 구분 음성 변환
화자 분할과 화자 식별의 차이
하나는 익명 그룹으로 "누가 언제 말했는가?"에 답합니다. 다른 하나는 음성이 아는 사람과 일치하는지 묻습니다. 둘을 혼동하면 잘못된 설정과 기대를 갖게 됩니다.
기록은 참가자가 누구인지 몰라도 이들을 구분할 수 있습니다. 또한 알려진 음성을 먼저 등록하고 일치시킨 후에야 인식할 수 있습니다. 두 작업은 관련이 있지만 서로 다른 문제를 해결하고 실패 양상도 다릅니다.
서로 다른 두 가지 질문
화자 분할: 누가 언제 말했는가?
화자 분할은 녹음을 분석하고 음성 구간을 감지하며 음성 특성을 추출하고 유사한 구간을 군집화합니다. 출력은 익명 그룹이 표시된 타임라인입니다.
00:00-00:12 Speaker_000:12-00:25 Speaker_100:25-00:41 Speaker_0
시스템은 어느 사람의 이름도 알 필요가 없습니다. 읽기 좋은 기록에 화자 순서가 필요한 인터뷰, 회의, 팟캐스트, 통화에 유용합니다.
화자 식별: 이 사람은 어떤 아는 사람인가?
식별은 감지된 화자를 알려진 음성 샘플 라이브러리와 비교합니다. 일치도가 신원 임계값을 넘으면 익명 레이블을 이름으로 바꿀 수 있습니다. Owl Meeting에서 이 라이브러리는 로컬에 저장되며 화자 페이지에서 관리합니다.
식별하려면 등록이 필요합니다. 라이브러리에 없는 사람의 실제 신원을 녹음만으로 추론할 수는 없습니다.
| 화자 분할 | 화자 식별 | |
|---|---|---|
| 핵심 질문 | 누가 언제 말했는가? | 등록된 아는 사람인가? |
| 사전 샘플 | 필요 없음 | 자동으로 이름을 지정하려면 필요 |
| 일반적인 레이블 | Speaker_0 | Alex, Priya, 인터뷰 진행자 |
| 주요 설정 | 화자 수 또는 군집화 임계값 | 성문 언어 및 신원 임계값 |
| 일반적인 오류 | 한 사람이 나뉘거나 두 사람이 합쳐짐 | 아는 사람과 일치하지 않거나 잘못 지정됨 |
결합된 워크플로의 작동 방식
파일 음성 변환에서 두 기능을 모두 활성화하면 순서가 중요합니다.
- 음성을 감지합니다. 녹음을 음성이 포함된 구간으로 나눕니다.
- 음성을 군집화합니다. 화자 분할이 같은 음성에서 나온 것으로 보이는 구간을 그룹화합니다.
- 알려진 샘플을 비교합니다. 신원 표시가 생성된 각 화자 그룹을 로컬 성문 라이브러리와 비교합니다.
- 임계값을 충족하면 이름을 적용합니다. 확실한 일치는 임시 레이블을 대체하고, 일치하지 않는 그룹은 익명으로 유지됩니다.
- 텍스트를 인식하고 검토합니다. 음성 인식이 기록을 생성하고 사용자는 소스 오디오와 대조하여 레이블과 단어를 확인합니다.
설정에 따라 달라지는 실패 유형
화자 수
참가자 수를 알고 있다면 이를 지정하여 군집화에 유용한 제약을 제공할 수 있습니다. 화자 수를 모를 때는 자동 수가 적합하지만 결과는 군집화 임계값과 녹음 품질의 영향을 더 많이 받습니다.
군집화 임계값
이 값은 한 화자 그룹 안에서 화자 분할 과정이 허용할 차이의 정도를 제어합니다. 지나치게 민감하면 한 사람을 여러 레이블로 나눌 수 있습니다. 지나치게 관대하면 비슷한 두 음성을 합칠 수 있습니다. 실제 화자 전환이 포함된 구간에서 임계값을 테스트하세요.
성문 언어
Owl Meeting은 중국어와 영어 성문 모델을 별도로 제공합니다. 샘플과 파일 음성 변환 설정에서 호환되는 성문 언어를 사용해야 합니다. 그렇지 않으면 화자 분할 자체가 작동해도 신원 일치가 실패할 수 있습니다.
신원 임계값
신원 임계값은 알려진 이름을 적용하기 위해 일치도가 얼마나 높아야 하는지 결정합니다. 높이면 약한 일치는 줄지만 아는 사람도 이름 없이 남을 수 있습니다. 낮추면 더 많은 구간을 식별할 수 있지만 잘못된 이름을 지정할 위험이 커집니다. 신원이 중요할 때는 보수적인 자동 이름 지정을 우선하세요.
유용한 음성 샘플 만들기
음성 샘플은 공간이 아니라 사람을 대표해야 합니다. 대상 화자만 있는 선명한 클립을 사용하고 겹치는 발화, 큰 음악, 배경의 다른 음성을 피하세요. 현재 Owl Meeting 워크플로에서는 5~30초 구간이 실용적인 범위입니다.
한 사람도 회의용 마이크, 전화 통화, 헤드셋, 멀리 있는 실내 마이크를 통해 서로 다르게 들릴 수 있습니다. 실제 녹음이 이러한 서로 다른 조건에서 생성된다면 대표 샘플을 둘 이상 추가하는 것이 도움이 될 수 있습니다. 품질이 낮고 거의 중복되는 클립을 많이 추가하지 마세요. 데이터가 많다고 항상 더 좋은 것은 아닙니다.
모든 설정을 바꾸기 전에 레이블 진단하기
| 증상 | 가능성 높은 계층 | 첫 확인 사항 |
|---|---|---|
| 한 사람이 두 화자로 표시됨 | 화자 분할 | 화자 수, 임계값, 마이크 변화 또는 배경 소음 |
| 두 사람이 한 레이블을 공유함 | 화자 분할 | 알고 있는 화자 수를 설정하거나 군집화를 더 민감하게 조정 |
| 그룹은 맞지만 이름이 없음 | 화자 식별 | 신원 표시, 성문 언어, 샘플, 신원 임계값 |
| 잘못된 그룹에 이름이 지정됨 | 화자 식별 | 신원 임계값을 높이고 오염된 샘플 교체 |
| 화자 레이블은 맞지만 단어가 틀림 | 음성 인식 | 인식 모델, 오디오 품질, 언어, 사전 |
이러한 계층을 구분하면 군집화 오류를 고치려고 음성 인식 모델을 바꾸거나 잘못된 단어를 고치려고 화자 수를 바꾸는 흔한 실수를 피할 수 있습니다. 화자 경계, 이름, 텍스트를 각각 평가하세요.
한계 이해하기
- 겹치는 발화는 같은 시간 구간에 두 음성이 있으므로 할당하기 어려울 수 있습니다.
- 매우 짧은 감탄이나 맞장구에는 안정적인 군집화 또는 신원 일치에 필요한 음성 정보가 부족할 수 있습니다.
- 질병, 감정, 거리, 마이크, 압축, 채널에 따라 사람의 음성이 달라집니다.
- 비슷한 음성은 합쳐질 수 있고, 변화하는 한 음성은 나뉠 수 있습니다.
- 자동 이름을 공식 회의록, 연구 코딩 또는 증거에 사용하기 전에 검토해야 합니다.
설정 방법은 화자 관리를 참조하세요. 파일 수준 군집화와 임계값은 파일 음성 변환을 참조하세요.
자주 묻는 질문
화자 분할은 사람을 이름으로 식별하나요?
아닙니다. 화자 분할은 녹음을 화자 0, 화자 1 같은 화자 그룹으로 나눕니다. 그룹을 이름이 있는 사람으로 식별하려면 별도의 신원 일치 단계 또는 수동 레이블 지정이 필요합니다.
화자 분할에 음성 샘플이 필요한가요?
아닙니다. 화자 분할은 미리 등록된 라이브러리 없이 서로 다른 음성을 그룹화할 수 있습니다. 화자 그룹을 아는 사람과 비교하여 이름을 자동 적용해야 할 때 음성 샘플이 필요합니다.
한 사람이 두 개의 화자 레이블로 나뉘는 이유는 무엇인가요?
거리, 마이크, 감정, 소음, 채널에 따라 사람의 음성이 달라질 수 있습니다. 자동 군집화 임계값이 지나치게 민감할 수도 있습니다. 알고 있는 화자 수를 지정하거나 임계값을 조정하고 결과를 검토하세요.
익명 화자 그룹부터 시작하세요
먼저 화자 분할이 올바른 화자 경계를 만드는지 확인하세요. 그룹화가 안정된 후에만 신원 일치를 추가하세요.