Jak skonfigurować szybką inferencję dla modeli głosowych i multimodalnych za pomocą SGLang-Omni

Każdy, kto próbował wdrożyć nowoczesne modele głosowe lub multimodalne w środowisku produkcyjnym, zna ten ból. Obsługa tekstowych LLM-ów jest już dobrze opanowana: pobierasz vLLM lub SGLang, konfigurujesz batchowanie i gotowe. Ale w momencie gdy audio trafia do potoku, wszystko się rozpada.

Model głosowy to nie pojedynczy transformer. Najpierw mamy koder audio, następnie blok autoregresywny (tzw. „thinker”), a potem moduł generowania mowy (talker), a na wyjściu znajduje się również wokoder, który składa surowe tokeny audio w czysty sygnał 48 kHz. Każdy etap ma własny profil obciążenia, wymagania dotyczące pamięci i wymagania dotyczące opóźnień. Próba wciśnięcia tego do standardowego silnika inferencji tekstowej to pewny sposób na piekielne opóźnienia i niestabilną liczbę klatek na sekundę generowanego audio.

Zespół SGLang wydał wyspecjalizowane rozwiązanie do tego zadania — SGLang-Omni.

Czym jest SGLang-Omni

To środowisko uruchomieniowe do wielostopniowej inferencji modeli omni-, mowy i TTS. Projekt obsługuje najbardziej bolesną część: zarządzanie złożonym potokiem obliczeniowym, transfer danych między etapami oraz udostępnianie gotowego do użycia API zgodnego ze specyfikacją OpenAI.

Główna cecha tkwi w koncepcji wielostopniowego środowiska uruchomieniowego. Zamiast próbować upchnąć cały potok w monolityczny proces, SGLang-Omni dzieli generowanie na izolowane fazy:

• przetwarzanie wstępne strumienia wejściowego;
• przetwarzanie przez koder;
• silnik autoregresywny oparty na jądrze SGLang;
• dekodery i wokodery składające końcowy audio;
• agregatory wyników.

Każdy krok jest obsługiwany przez własny scheduler. Na przykład generowanie tekstu lub tokenów sterujących działa na zoptymalizowanym schedulerze SGLang z obsługą KV-cache, podczas gdy wokoder operuje w lekkiej pętli strumieniowej, która natychmiast dostarcza fragmenty audio do klienta.

Transfer danych bez zbędnych narzutów

Gdy model jest podzielony na wiele komponentów, transfer tensorów między GPU lub procesami często staje się wąskim gardłem. Jeśli przekierujesz dane pośrednie przez zwykłą pamięć RAM CPU, opóźnienie dla dialogu w czasie rzeczywistym staje się nieakceptowalne.

W SGLang-Omni warstwa transportowa jest wydzielona. Płaszczyzna sterowania synchronizuje żądania, podczas gdy płaszczyzna danych przesyła przez zoptymalizowane backendy: pamięć współdzieloną dla lokalnych procesów, NCCL, NIXL i Mooncake dla operacji rozproszonych. Minimalizuje to narzut międzyetapowy do minimum.

Jakie modele są obsługiwane out-of-the-box

Zestaw dostępnych modeli jest imponujący, zwłaszcza biorąc pod uwagę, że repozytorium jest aktywnie rozwijane. Zawiera już gotowe przepisy (cookbooki) dla popularnych architektur:

1. Omni-chat: Qwen3-Omni i Ming-Omni. Przyjmują multimodalne wejście (tekst, audio), zwracają tekst lub strumieniową mowę.
2. Synteza mowy (TTS): Higgs Audio v3, MOSS-TT (w tym wersja Local Transformer v1.5 z natywnym audio 48 kHz), Fish Speech S2-Pro, Qwen3-TTS, Voxtral TTS, dots.tts i ZONOS2.
3. Generowanie muzyki: MiniMax Music 3, zdolny do składania ścieżki stereo 32 kHz z tekstu i opisu stylu.
4. Rozpoznawanie mowy i diaracja (ASR): Qwen3-ASR, Fun-ASR, ARK-ASR i MOSS-Transcribe-Diarize, który może umieszczać znaczniki czasu i etykiety mówców w formacie 0.

Wszystko to jest wdrażane za pomocą znajomych punktów końcowych, takich jak 1, 2 i 3. Jeśli masz już napisanego klienta dla API OpenAI, przejście na własne backend będzie tak proste, jak to tylko możliwe.

Szybki start i uruchomienie

Pakiet jest dostępny w PyPI, najłatwiej zainstalować za pomocą 4 lub zwykłego 5:

Do produkcji projekt ma własny router (SGLang-Omni Router). Obsługuje sprawdzanie zdrowia/dostępności workerów, równoważenie obciążenia między wieloma węzłami GPU oraz routing żądań na podstawie możliwości konkretnych instancji.

Jeśli chodzi o sprzęt, NVIDIA CUDA pozostaje głównym backendem. Ale deweloperzy dodali eksperymentalną obsługę GPU Intela (XPU) przez PyTorch XPU. Qwen3-ASR, Qwen3-TTS i Qwen3-Omni (z równoległością tensorową dla bloku rozumowania) już działają na kartach Intel Arc.

Kto znajdzie ten projekt przydatny już teraz

Jeśli budujesz asystenta głosowego, tłumacza w czasie rzeczywistym, usługę transkrypcji rozmów z diaracją mówcy lub platformę dubbingową, nie musisz już wymyślać koła na nowo z FastAPI i surowymi skryptami.

Projekt jest wciąż młody, z kilkoma setkami otwartych zgłoszeń w repozytorium, a dokumentacja czasami odwołuje się do kodu źródłowego. Ale ma za sobą silny zespół LMSYS i ekosystem SGLang, więc architektura jest solidna. Zdecydowanie warto wypróbować, zwłaszcza jeśli potrzebujesz minimalnego czasu do pierwszego tokenu audio w strumieniowych dialogach.