PL 
EnglishDomyślny
Українська🌐 Estymator jakości tłumaczenia — dopasowanie embeddingów na żywo
Oceniaj pary zdań przetłumaczonych maszynowo pod kątem jakości za pomocą rzeczywistego dopasowania embeddingów międzyjęzykowych, obserwując, jak wynik pewności śledzi subtelny dryf znaczenia w czasie rzeczywistym.
O tej symulacji
Systemy tłumaczenia maszynowego produkują wynik w milisekundy, ale wiedza o tym, czy ten wynik jest godny zaufania, to osobny, trudniejszy problem — zwykle rozwiązywany przez estymację jakości tłumaczenia (QE), która ocenia tłumaczenie bez potrzeby ludzkiego wzorca. Ta symulacja buduje mały, całkowicie przejrzysty potok QE: słowa źródłowe i przetłumaczone są umieszczane we wspólnej syntetycznej przestrzeni osadzeń, gdzie prawdziwe pary tłumaczeń leżą blisko siebie, wektory zdań są tworzone przez uśrednianie osadzeń słów (i par słów), a wynik jakości to rzeczywiste podobieństwo kosinusowe między dwoma wektorami zdań — dokładnie takie porównanie wykonują prawdziwe metryki QE oparte na embeddingach.
🔬 Co pokazuje
Sześć par zdań źródło/tłumaczenie, każde słowo odwzorowane na deterministyczny wektor 20-wymiarowy. Słowo i jego poprawne tłumaczenie to zaszumione kopie tego samego wspólnego wektora „pojęcia” — zabawkowy zamiennik dopasowania embeddingów międzyjęzykowych. Wykres punktowy PCA na żywo rzutuje każdy wektor słowa na jego dwa kierunki największej wariancji; przerywana linia między dwoma większymi kropkami centroidów to odległość dopasowania na poziomie zdania, a dolny wykres śledzi wynikowy wynik jakości 0–100 w czasie.
🎮 Jak korzystać
Wybierz parę zdań, a następnie przeciągnij suwak wielkości dryfu, gdy wybrany jest tryb dryfu — Podstawienie, Przestawienie lub Pominięcie — i obserwuj, jak wynik jakości, podobieństwo kosinusowe i wykres punktowy PCA reagują natychmiast. „Wylosuj wzorzec dryfu” losuje ponownie, które słowa są dotknięte na każdym poziomie dryfu; „Animuj dryf” automatycznie przesuwa wielkość w górę i w dół, byś mógł obserwować, jak wykres trendu wyniku buduje pełną historię.
💡 Czy wiesz, że?
Ponieważ wektor zdania to średnia bag-of-embeddings, samo przestawienie kolejności (zachowanie każdego słowa, ale tasowanie ich pozycji) obniża wynik znacznie mniej niż podstawienie lub usunięcie słów treściowych — ta sama asymetria występuje w prawdziwych metrykach MT opartych na embeddingach, które są znacznie lepsze w wychwytywaniu błędnie przetłumaczonego znaczenia niż w karaniu samej kolejności słów.
Najczęściej zadawane pytania
Czym jest estymacja jakości tłumaczenia (QE)?
Estymacja jakości tłumaczenia przewiduje, jak dobre jest tłumaczenie maszynowe, bez dostępu do ludzkiego tłumaczenia wzorcowego. Prawdziwe systemy QE (jak COMET-QE czy OpenKiwi) przepuszczają zdanie źródłowe i tłumaczenie maszynowe przez wielojęzyczny koder i porównują wynikowe embeddingi — zdania o tym samym znaczeniu lądują blisko siebie we wspólnej przestrzeni osadzeń, podczas gdy błędne tłumaczenia dryfują od siebie. Ta symulacja buduje mały, przejrzysty wariant tej samej idei: syntetyczne embeddingi słów, wspólną międzyjęzykową przestrzeń pojęć i prawdziwy wynik podobieństwa kosinusowego.
Jak działa tu syntetyczna przestrzeń embeddingów?
Każde pojęcie-słowo otrzymuje deterministyczny wektor 20-wymiarowy wygenerowany z zaszytego hasza jego nazwy. Słowo w języku źródłowym i jego poprawne tłumaczenie są oba budowane przez dodanie niezależnego małego szumu do tego samego wspólnego wektora pojęcia — naśladując, jak prawdziwe dopasowanie embeddingów międzyjęzykowych (np. MUSE, LASER czy mapowanie indukowane słownikiem dwujęzycznym) umieszcza prawdziwe pary tłumaczeń blisko siebie mimo bycia różnymi słowami powierzchniowymi. Niepowiązane słowo-dystraktor otrzymuje własny niezależny wektor, więc podstawienie złego słowa sprawia, że wektor tłumaczenia odpływa od źródła.
Jak wektor zdania jest obliczany z wektorów słów?
Każdy wektor zdania to ważona średnia jego wektorów słów (80%) oraz wektorów sąsiadujących par słów, czyli bigramów (20%). Uśrednianie wektorów słów to klasyczna reprezentacja zdania typu bag-of-embeddings; dodanie wektorów bigramów daje reprezentacji pewną wrażliwość na kolejność słów, ponieważ przestawienie słów zmienia, które bigramy się pojawiają, mimo że te same słowa wciąż są obecne. To ten sam kompromis, jaki robią prawdziwe embeddingi zdań w stylu fastText czy SIF między prostotą a wrażliwością na kolejność.
Co faktycznie mierzy wynik jakości?
Wynik jakości to podobieństwo kosinusowe między wektorem zdania źródłowego a wektorem zdania tłumaczenia, przeskalowane z typowego zakresu −0,5…0,9 na skalę 0–100. Podobieństwo kosinusowe mierzy kąt między dwoma wektorami niezależnie od ich długości, co jest dokładnie tym, czego używają metryki QE oparte na embeddingach do porównywania znaczenia, ignorując powierzchowne różnice skali. Wierne tłumaczenie utrzymuje ten kąt mały (wysoki wynik); podstawienie, pominięcie lub przestawienie wystarczającej liczby słów poszerza kąt, a wynik spada w czasie rzeczywistym podczas przesuwania suwaka dryfu.
Dlaczego podstawienie, przestawienie i pominięcie wpływają na wynik inaczej?
Podstawienie słowa zamienia jego wektor na niepowiązany, gwałtownie odciągając średnią od źródła — już kilka podstawień pokazuje duży spadek. Pominięcie słów kurczy średnią zdania w stronę tego, co pozostało, co również obniża wynik, gdy brakuje wystarczająco dużo treści, ale pojedyncze brakujące słowo funkcyjne ma mniejsze znaczenie. Przestawienie zachowuje wektor każdego słowa w średniej zdania niezmieniony, więc przejawia się tylko przez składnik bigramowy — rzeczywiste odzwierciedlenie tego, dlaczego metryki w stylu bag-of-words są mniej wrażliwe na kolejność słów niż na faktyczne błędne tłumaczenie treści.
Co pokazuje rzutowanie PCA w górnym panelu?
Górny panel bierze każdy wektor słowa w bieżących zdaniach źródłowym i tłumaczonym (wszystkie 20-wymiarowe) i rzutuje je na 2 kierunki największej wariancji za pomocą analizy głównych składowych, obliczanej na żywo metodą iteracji potęgowej na macierzy kowariancji. To ta sama technika redukcji wymiarowości używana do wizualizacji prawdziwych embeddingów słów i zdań (np. kreślenia wektorów BERT czy word2vec). Dwie większe kropki to centroidy zdań; przerywana linia między nimi to wizualny odpowiednik odległości dopasowania pokazanej w panelu statystyk.
Czy tak faktycznie działają produkcyjne systemy QE tłumaczenia maszynowego?
Podstawowy mechanizm — porównywanie embeddingów źródła i tłumaczenia za pomocą podobieństwa kosinusowego we wspólnej przestrzeni międzyjęzykowej — jest dokładnie tym, jak działają systemy QE bez wzorca i systemy wyszukiwania międzyjęzykowego. Tym, co jest tu uproszczone, jest sam embedding: systemy produkcyjne używają głębokich wielojęzycznych koderów transformerowych wytrenowanych na miliardach słów, podczas gdy ta symulacja używa małych deterministycznych pseudolosowych wektorów, tak by cały potok pozostał sprawdzalny i odtwarzalny w przeglądarce. Matematyka dopasowania, uśredniania i porównania kosinusowego jest jednak prawdziwa.