Перевод в реальном времени
Как переводить речь в реальном времени
Получайте распознанный текст и перевод с микрофона или системного звука в одном окне с помощью локальной модели Ollama.
Как работает перевод в реальном времени
Сначала распознавание речи создаёт исходный текст, затем выбранная локальная LLM переводит его. Обычный режим переводит завершённый фрагмент. Режим низкой задержки также переводит обновляемый черновой результат, поэтому ждать окончания всего фрагмента не нужно.
Настройте Ollama и задачу перевода
Hy-MT2-1.8B
Компактная модель семейства Hunyuan Translation 2.0 для перевода между 33 языками, а также пяти языковыми или диалектными разновидностями народов Китая. Подходит для локального перевода в реальном времени в Owl Meeting.
- По данным разработчика, модель показывает ведущие результаты в открытых тестах FLORES-200 и WMT25 и превосходит ряд популярных коммерческих API перевода.
- Поддерживает структурированный перевод, разделители, контекст, глоссарии и управление стилем.
- Всего 1,8 млрд параметров; минимальная версия с квантованием 1,25 бита занимает около 440 МБ и сочетает качество, скорость и экономное использование ресурсов.
- Имя модели API
hunyuan-mt2-1.8b-chat- Макс. ввод
- 4K
- Макс. вывод
- 4K
- Установите и запустите Ollama, затем загрузите модель с поддержкой нужных языков.
- На странице ИИ создайте задачу «Перевод» и задайте модель, исходный и целевой языки.
- Выберите режим ввода «По фрагментам». Пакетный и полнотекстовый режимы предназначены для сохранённых расшифровок.
Выберите режим распознавания
Обычный режим
Даёт стабильный результат. Перевод начинается после завершения текущего речевого фрагмента.
Режим низкой задержки
Раньше показывает черновой текст и переводит его в реальном времени. Подходит для встреч, лекций, трансляций и видео.
Запустите перевод
- Выберите микрофон, системный звук или двойной вход.
- Выберите модель распознавания с поддержкой языка речи.
- Выберите задачу перевода и нажмите синюю кнопку запуска локальной LLM.
- Начните запись. В обычном режиме перевод появится после завершения фрагмента, а в режиме низкой задержки будет обновляться во время речи.
Как уменьшить задержку
- Включите режим низкой задержки, если перевод нужен до конца фрагмента.
- Используйте более компактную и быструю модель и просите выводить только перевод.
- Снизьте другую нагрузку на процессор, память и GPU и проверьте точность исходного текста.
Зафиксируйте конфигурацию перед сравнением задержки
Задержка зависит не только от Owl Meeting. Режим распознавания, модели, квантование, длина инструкции, CPU или GPU, память и параллельная нагрузка влияют на появление текста.
- Проверьте короткий образец на нужных языках.
- Запишите версию, модели, квантование, оборудование и источник звука.
- Сравнивайте время до первого полезного перевода и число исправлений.
Проверьте каждую языковую пару и важные термины
Многоязычная модель может работать неодинаково в разных направлениях. Проверьте имена, термины, числа и границы фраз. Глоссарий повышает единообразие, но не исправляет неверный исходный текст.
- Проверяйте языки по карточке модели.
- Сначала оцените распознанный исходный текст.
- Запрашивайте краткий вывод для читаемых промежуточных результатов.
Конфиденциальность и ограничения прямого результата
С локальной моделью и локальным адресом Ollama распознавание и перевод могут выполняться на ПК. Для внешнего сервиса действуют его правила данных.
Режим низкой задержки переводит меняющиеся прогнозы. Первые слова могут исправляться, а шум и одновременная речь влияют на исходный текст и перевод. Проверяйте важные формулировки перед публикацией.
Частые вопросы
Почему перевода нет?
Убедитесь, что задача включена, выбрана и запущена синей кнопкой, а Ollama работает.
Всегда ли нужно ждать окончания фрагмента?
Нет. Обычный режим ждёт завершения фрагмента, а режим низкой задержки переводит черновой текст во время речи.
Какие языки поддерживаются?
Можно переводить несколько исходных языков на выбранный целевой. Конкретный набор определяет используемая LLM.
Проверьте весь процесс на коротком примере
До начала долгой встречи проверьте источник звука, язык распознавания, направление перевода, LLM и задержку.