Strona główna▸AI i uczenie maszynowe▸Klasyfikator intencji chatbota — podobieństwo TF-IDF na żywo

💬 Klasyfikator intencji chatbota — podobieństwo TF-IDF na żywo

Obserwuj prawdziwy wektoryzator TF-IDF i dopasowywacz podobieństwa kosinusowego, oceniający przychodzącą syntetyczną wiadomość użytkownika względem banku szablonów intencji, na żywo rankingujący najlepiej dopasowaną intencję w miarę pisania.

AI i uczenie maszynowe3DUmiarkowany60 FPS

O tej symulacji

Ten symulator uruchamia w przeglądarce prawdziwy wektoryzator TF-IDF (częstotliwość terminu, odwrotna częstotliwość dokumentu) oraz dopasowywacz podobieństwa kosinusowego — tę samą rodzinę algorytmów, która napędza lekkie, wyjaśnialne kierowanie intencji chatbota przed (lub obok) modelem neuronowym. Każdy szablon intencji — „sprawdź status zamówienia”, „poproś o zwrot”, „zresetuj moje hasło” i tak dalej — jest traktowany jako dokument; słownik korpusu i wagi IDF są przeliczane na żywo na podstawie tych dokumentów. Gdy wpisujesz wiadomość lub pozwolisz odtwarzać się strumieniowi syntetycznych wiadomości, wiadomość jest tokenizowana, ważona względem tej samej tabeli IDF i porównywana z każdym wektorem intencji za pomocą rzeczywistych iloczynów skalarnych i norm wektorów.

Panel główny pokazuje trzy widoki na żywo: ranking słupkowy wyników podobieństwa kosinusowego dla wszystkich intencji, dwuwymiarową projekcję PCA każdego wektora intencji i bieżącego wektora zapytania (obliczaną z rzeczywistym centrowaniem średniej, kowariancją i wektorami własnymi metodą iteracji potęgowej — nie ze stałym układem), oraz wykres wkładu poszczególnych terminów, który dokładnie pokazuje, które wspólne słowa zdecydowały o zwycięskim dopasowaniu. Różnica pewności między dwiema najlepszymi intencjami jest rzeczywistą miarą jednoznaczności dopasowania: mała różnica oznacza, że wiadomość jest naprawdę niejednoznaczna między dwoma szablonami, a nie artefaktem renderowania.

Najczęściej zadawane pytania

Czy matematyka TF-IDF jest faktycznie obliczana, czy to gotowa demonstracja?

Jest obliczana na żywo. Tokenizacja, liczby częstości termin-dokument, wygładzony wzór IDF ln((1+N)/(1+df))+1 oraz znormalizowane L2 wektory TF-IDF są budowane na podstawie dowolnych szablonów intencji obecnie znajdujących się w korpusie, w tym tych dodanych przez Ciebie samodzielnie.

Jak generowany jest wykres przestrzeni wektorowej?

Wektor TF-IDF każdej intencji (jeden wymiar na termin ze słownika) jest centrowany względem średniej, a dwa pierwsze wektory własne wynikowej macierzy kowariancji są znajdowane metodą iteracji potęgowej i deflacji — standardową, rzeczywistą implementacją analizy głównych składowych (PCA). Pozycje 2D to rzuty każdego wielowymiarowego wektora na te dwa wektory własne.

Dlaczego nieznana wiadomość czasem otrzymuje niski wynik pewności dla każdej intencji?

Podobieństwo kosinusowe jest ograniczone i zależy całkowicie od wspólnego słownictwa. Jeśli wpisana wiadomość dzieli niemal żadnych słów z przykładowymi wypowiedziami żadnej intencji, każdy wynik podobieństwa będzie niski, a „różnica do drugiego miejsca” się zmniejszy — wierny sygnał, że klasyfikator nie jest pewny, dokładnie tak, jak zachowywałby się produkcyjny model bazowy TF-IDF.

Co się dzieje, gdy dodaję nowy szablon intencji?

Słownik i liczby częstości dokumentów są przebudowywane dla wszystkich intencji (w tym nowej), co nieznacznie zmienia wagi IDF każdej istniejącej intencji. Wszystkie wektory, projekcja PCA oraz wyniki podobieństwa bieżącego zapytania są następnie przeliczane względem nowego korpusu.

⚙ Pod maską

Three.jsWebGLAIUczenie maszynowe

3D · renderer Three.js / WebGL · cel 60 FPS · działa w całości po stronie klienta, bez instalacji