Zrozumienie języka naturalnego: od tekstu do poznawania

Podstawy

NLP: przecięcie się lingwistyki, informatyki i inteligentnego systemu AI — umożliwiające maszynom zrozumianie i generowanie języka ludzkiego. Przetwarzanie tekstowe: tokenuzacja (słowa, podsłowa — BPE, WordPiece, SentencePiece), zmniejszanie do małych liter, stemizacja (Porter), lematyzacja (WordNet), usuwanie słów bezwagi. Bag of Words (BoW): dokument jako wektor częstotliwości słówek, ignorując porządek. TF-IDF: częstotliwość terminu × odwrotna częstotliwość dokumentu — miara ważności słowa w dokumencie w stosunku do korpusu. N-gramy: ciągłe sekwencje n tokenów, zapisujące lokalny kontekst. Znajdowanie nazwanych entiów (NER): rozpoznawanie entiów (osób, organizacji, miejsc) — etykietowanie sekwencyjne z tagami BIO. Etykietowanie części mowy: przydzielanie rol gramatycznych (przymiotnik, verba, nazwa).

Wstawiania słów

Word2Vec (Mikolov et al., 2013): gęste reprezentacje wektorowe zachowujące relacje semantyczne. Architektury: CBOW (predykcja słowa na podstawie kontekstu), Skip-gram (predykcja kontekstu na podstawie słowa). Znany przykład: king - man + woman ≈ queen (arithmeticzna operacja wektorów zwraca analogię). GloVe (Pennington et al., 2014): Globalne Vektory z czynnościowego rozkładu współwystępowania. FastText (Bojanowski et al., 2017): wstawiania podsłowne — obsługuje morfologię i słowa poza zestawem (OOV). ELMo (Peters et al., 2018): kontekstualne wstawiania z bidirectionalnego LSTM — różne reprezentacje dla wieloznacznych słów. Ocena: wewnętrzna (podobieństwo słów, analogie) i zewnętrzna (wykonanie zadań dolistowych).

Transformery

Transformer (Vaswani et al., 2017): „Uwaga — wszystko, czego potrzebujesz” — zastąpił RNN w modelowaniu sekwencji. Uwaga siebie-referencyjna: każdy token uwzględnia wszystkie inne tokeny, obliczając sumę ważoną. Multi-head uwaga: paralelna uwaga z różnymi projekcjami (wykorzystywane zwykle 8-16 głow). Przesunięcie pozycyjne: sinusoidalne lub nauczone — wstawić informacje o kolejności sekwencji. Architektura: kodownik (dwukierunkowy) + dekodownik (autoregressive), połączenia residualne, normalizacja warstwowa. Złożoność obliczeniowa: O(n²d) dla długości sekwencji n i wymiaru d. BERT (Devlin et al., 2019): dwukierunkowy kodownik, nauczony zanim jest używany przedmiotowo (Masked Language Model) i NSP (Next Sentence Prediction). Seria GPT (OpenAI): dekodownik tylko, nauczony autoregressive przewidywaniem następnego tokena. T5 (Google): kodownik-dekodownik, ramka tekst do tekstu dla wszystkich zadań NLP.

Duże modele językowe

Zasady skalowania (Kaplan et al., 2020): straty maleją według prawidła potęgowego z rozmiarem modelu, ilością danych i obliczeniami. GPT-3 (175B parametrów, 2020): uczenie w kontekście, umiejętności kilku przykładów. GPT-4 (2023): wielomodalny (tekst + widza), poprawione rozumienie. Chinchilla (Hoffmann et al., 2022): optymalna alokacja obliczeń — więcej danych, mniejszy model. LLaMA (Meta): modele otoczone, konkurencyjne z większymi własnymi modelami. Optymalizacja: nadmiarowe dopasowanie pod nadzorem (SFT) + RLHF (uczenie przez naukę maszynową ze zwrotnym feedbakiem ludzkim). Inżynieria polecenia: zero-shot, kilka przykładów, pisanie w formie łańcucha myślenia. RAG (Zwrotne generowanie z wykorzystaniem skasowania): połączenie modeli językowych z zewnetrznymi zasobami wiedzy. Ograniczenia: iluzje, ograniczenia okna kontekstowego, brak prawdziwego rozumienia, kawałki danych treningowych.

Zastosowania

Przetwarzanie maszynowe języka naturalnego (MT): neural MT (encoder-decoder z uwagą), Google Translate obsługuje miliardy użytkowników codziennie. Analiza emocji: ekstrakcja opinii dla recenzji produktów, monitorowanie mediów społecznościowych. Odpowiedzi na pytania: ekstraktory (benchmark SQuAD) i generatory (QA dziedziny otwartej). Sumaryzacja tekstu: ekstraktora (wybór zdanie) i abstrakcyjna (generowanie nowego tekstu). Chataboty i asystenci: orientowani do zadania (rezerwacje, obsługa klienta) i konwersacje dziedziny otwartej. Generowanie kodu: Codex, GitHub Copilot, StarCoder — LLMs treningowe na podstawie kodu. Ekstrakcja informacji: ekstrakcja relacji, wykrywanie zdarzeń, budowa grafów wiedzy. NLP medyczny: PubMedBERT, detekcja entitetów lekarskich, wykrywanie interakcji leków. NLP wielojęzyczny: mBERT, XLM-RoBERTa — przekształcenia transferowe między językami.

Wypróbuj na żywo

Wszystko powyżej działa bezpośrednio w Twojej przeglądarce — otwórz Dimensionality Reduction: PCA, t-SNE & UMAP i zmieniaj parametry podczas działania. Nic nie jest instalowane ani przesyłane na serwer, cały model działa w jednej karcie.