Obliczeniowe przetwarzanie języka naturalnego i obróbka przyrodniej mowy

🎓 Transformery

Mechanizm uwagi

Koncept: Uwaga na różne części wejścia.

Uwaga sieciowa: Uwaga wewnątrz sekwencji.

Wydolności: Paralelizm, zależności długoterminowe.

BERT

Architektura: Encja dwukierunkowa.

Przygotowanie do użytku: Maskowane modelowanie języka, przewidywanie następnego zdania.

Optymalizacja: Dla zadań dolistowych.

GPT

Architektura: Dekoder autoregressive.

Przygotowanie do użytku: Modelowanie języka.

Generowanie: Generowanie tekstu.

🔧 Zadania NLP

Klasyfikacja tekstu

Zadania: Sentymetron, tematy, intencje.

Modely: BERT, szkolenie w skrócie.

Zastosowania: Wysokiej popularności.

Wykrywanie entitetów nazwanych (osoby, miejsca, organizacje)

Zadanie: Wykrywanie entitetów.

Modely: bazujące na BERT.

Zastosowania: Wydzielanie informacji.

Tłumaczenie maszynowe

Zadanie: Tłumaczenie między językami.

Modely: Seq2Seq, Transformerzy.

Zastosowania: Systemy tłumaczeniowe.

📚 Praktyczne przykładki

Przykład 1: Analiza emocji z użyciem BERTu

Pochodzenia: Pobierz już nauczonego BERTu.

Optymalizacja: Naucz na danych dotyczących emocji.

Ewaluacja: Sprawdź dokładność na zestawie testowym.

Przykład 2: Generowanie tekstu z użyciem GPT

Pochodzenia: Użyj już nauczonego GPT.

Generowanie: Generuj tekst na podstawie wskazówki.

Optymalizacja: Naucz na specyficznych danych.

Spróbuj to na żywo

Wszystko powyżej działa w Twojej przeglądarce — otwórz Dimensionality Reduction: PCA, t-SNE & UMAP i zmieniaj parametry podczas działania. Nie ma potrzeby instalowania niczego ani przesyłania danych, cała modelika istnieje w jednym okienku.