Jak tłumaczyć mowę w czasie rzeczywistym

Jak działa tłumaczenie w czasie rzeczywistym

Rozpoznawanie mowy najpierw tworzy tekst źródłowy, a wybrany lokalny LLM go tłumaczy. Tryb normalny tłumaczy zakończony segment. Tryb niskiego opóźnienia tłumaczy także zmieniającą się prognozę, bez czekania na koniec całego segmentu.

Skonfiguruj Ollama i zadanie tłumaczenia

Polecany model do tłumaczenia w czasie rzeczywistym

Hy-MT2-1.8B

Lokalnie i w czasie rzeczywistym

Kompaktowy model z rodziny Hunyuan Translation 2.0 przeznaczony do tłumaczenia między 33 językami oraz pięcioma chińskimi odmianami języków mniejszościowych lub dialektów. Dobrze nadaje się do lokalnego tłumaczenia w czasie rzeczywistym w Owl Meeting.

• Według wydawcy model osiąga czołowe wyniki w otwartych testach FLORES-200 i WMT25, wyprzedzając kilka popularnych komercyjnych API tłumaczeniowych.
• Obsługuje tłumaczenie strukturalne, z separatorami, kontekstowe, oparte na glosariuszu i sterowane stylem.
• Tylko 1,8 mld parametrów; najmniejsza wersja 1,25-bitowa zajmuje około 440 MB i łączy jakość, szybkość oraz niskie zużycie zasobów lokalnych.

Nazwa modelu API

hunyuan-mt2-1.8b-chat

Maks. wejście

4K

Maks. wyjście

4K

Zobacz model w Ollama →

1. Zainstaluj i uruchom Ollama, a następnie pobierz model obsługujący potrzebne języki.
2. Na stronie AI utwórz zadanie Tłumaczenie i ustaw model oraz języki źródłowy i docelowy.
3. Wybierz tryb wejścia Dla segmentu. Tryby wsadowy i pełnotekstowy służą do zapisanych transkrypcji.

Wybierz tryb rozpoznawania

Tryb normalny

Zapewnia stabilne wyniki. Tłumaczenie zaczyna się po zakończeniu bieżącego segmentu mowy.

Tryb niskiego opóźnienia

Wcześniej pokazuje przewidywany tekst i tłumaczy go na bieżąco. Przydaje się podczas spotkań, wykładów, transmisji i filmów.

Uruchom tłumaczenie na żywo

1. Wybierz Mikrofon, Dźwięk systemowy lub Podwójne wejście.
2. Wybierz model rozpoznawania obsługujący język mówiony.
3. Wybierz zadanie tłumaczenia i kliknij niebieski przycisk, aby uruchomić lokalny LLM.
4. Rozpocznij nagrywanie. Tryb normalny tłumaczy zakończone segmenty, a tryb niskiego opóźnienia aktualizuje tłumaczenie podczas mówienia.

Zmniejsz opóźnienie

• Włącz tryb niskiego opóźnienia, jeśli tłumaczenie jest potrzebne przed końcem segmentu.
• Użyj mniejszego, szybszego modelu i poproś tylko o wynik tłumaczenia.
• Ogranicz inne obciążenia procesora, pamięci lub GPU i sprawdź dokładność tekstu źródłowego.

Zapisz konfigurację przed porównaniem opóźnienia

Opóźnienie nie zależy wyłącznie od Owl Meeting. Tryb rozpoznawania, modele, kwantyzacja, długość instrukcji, CPU lub GPU, pamięć i inne obciążenia wpływają na czas pojawienia się tekstu.

• Przetestuj krótki fragment w rzeczywistych językach.
• Zapisz wersję, modele, kwantyzację, sprzęt i źródło dźwięku.
• Porównuj czas do pierwszego użytecznego tłumaczenia i liczbę poprawek.

Sprawdź każdą parę języków i ważne terminy

Model wielojęzyczny może mieć różną jakość w różnych kierunkach. Testuj nazwy, terminy, liczby i granice zdań. Glosariusz poprawia spójność, ale nie naprawi błędnego tekstu źródłowego.

• Sprawdź obsługę języków w karcie modelu.
• Najpierw oceń rozpoznany tekst źródłowy.
• Żądaj zwięzłego wyniku, aby częściowe tłumaczenia były czytelne.

Prywatność i ograniczenia wyniku na żywo

Z lokalnym modelem i lokalnym adresem Ollama rozpoznawanie i tłumaczenie mogą działać na komputerze. Usługa zewnętrzna stosuje własne zasady danych.

Tryb niskiego opóźnienia tłumaczy zmienne prognozy. Pierwsze słowa mogą się zmieniać, a hałas i nakładający się mówcy wpływają na źródło i tłumaczenie. Sprawdź ważne treści przed udostępnieniem.

Częste pytania

Przetestuj cały proces na krótkiej próbce

Przed długim spotkaniem sprawdź źródło dźwięku, język rozpoznawania, kierunek tłumaczenia, LLM i opóźnienie.

Pobierz Owl Meeting dla WindowsOtwórz dokumentację asystenta AI