🧑‍💼 Dopasowywanie CV do ofert pracy — podobieństwo embeddingów na żywo

Embedding to wektor liczbowy, który umieszcza dany element we wspólnej przestrzeni współrzędnych tak, by podobne elementy znalazły się blisko siebie. W tej symulacji każde CV i każda oferta pracy są reprezentowane przez mały, zrozumiały dla człowieka wektor: jedna liczba na każdą umiejętność (biegłość od 0 do 1) plus jedna liczba lat doświadczenia. Prawdziwe systemy produkcyjne zwykle używają gęstych wektorów o setkach lub tysiącach wymiarów generowanych przez model językowy, ale idea jest identyczna — zamienić nieustrukturyzowany tekst w punkt w przestrzeni, tak by odległość i kąt między punktami stały się matematycznie znaczącymi sygnałami.

Podobieństwo kosinusowe mierzy kąt między dwoma wektorami niezależnie od ich długości: cos θ = (A·B)/(|A||B|). Ma to tu znaczenie, ponieważ kandydat o wysokiej biegłości we wszystkich umiejętnościach oraz kandydat o tym samym profilu, ale skalowanym w dół (oceniony nieco niżej w każdej umiejętności), powinni nadal być uznani za równie dobrze dopasowanych kierunkowo do oferty — odległość euklidesowa karałaby drugiego kandydata jedynie za mniejszą długość wektora, podczas gdy podobieństwo kosinusowe poprawnie wskazuje, że wskazują ten sam kierunek. To standardowy wybór dla embeddingów CV i dokumentów w prawdziwych systemach rekrutacyjnych i wyszukiwarkach.

Każdy wektor kandydata i oferty jest przeskalowywany przed obliczeniem podobieństwa: osiem wymiarów umiejętności mnoży się przez wagę umiejętności w, a wymiar doświadczenia przez (1 − w). Ponieważ podobieństwo kosinusowe zależy od względnych proporcji między wymiarami, a nie ich bezwzględnej wielkości, zmiana w faktycznie obraca każdy wektor w przestrzeni — kandydat silny umiejętnościami, ale z małym doświadczeniem, zyskuje wyższy wynik, gdy w rośnie ku 1, a doświadczony generalista o skromnej głębi umiejętności piąć się w górę listy, gdy w maleje ku 0. Widoczne przetasowanie rankingu jest bezpośrednim, rzeczywistym skutkiem tego przeskalowania, a nie zaskryptowaną animacją.

Symulacja przeprowadza prawdziwą analizę głównych składowych (PCA) na aktualnym zbiorze ważonych wektorów. Centruje wszystkie punkty względem ich średniej, buduje macierz kowariancji przeskalowanych wymiarów i znajduje dwa główne wektory własne metodą iteracji potęgowej z deflacją — tą samą iteracyjną metodą stosowaną w produkcji do przybliżania PCA, gdy pełna dekompozycja własna nie jest konieczna. Każdy punkt jest następnie rzutowany na te dwa kierunki, dlatego przesunięcie suwaka wagi nie tylko zmienia ranking krótkiej listy, ale również widocznie przetasowuje wykres punktowy: osie maksymalnej wariancji przesuwają się wraz ze zmianą wagi.

Ta symulacja sprowadza każde CV do ośmiu kategorii umiejętności i jednej liczby doświadczenia, co jest użytecznym uproszczeniem dydaktycznym, ale realnym uproszczeniem faktycznej treści CV. Systemy produkcyjne mierzą się z trudniejszymi problemami, które ten model całkowicie omija: dopasowywanie synonimów i skrótów („JS” kontra „JavaScript” kontra „ECMAScript”), starzenie się i zanik umiejętności (umiejętność wymieniona, lecz nieużywana od ośmiu lat powinna liczyć się mniej), sygnały stażu ukryte w nazwach stanowisk i osiągnięciach zamiast w jawnych ocenach, a także fakt, że dwie osoby mogą opisać tę samą umiejętność zupełnie innym słownictwem. Prawdziwe modele embeddingów są trenowane specjalnie tak, by być odporne na takie niedopasowania słownictwa.

Każdy zdefiniowany w symulacji zestaw oferty niesie własny wektor wymaganych umiejętności i wymaganego doświadczenia, więc zmiana oferty przesuwa punkt, z którym porównywany jest każdy kandydat — sam punkt oferty przemieszcza się w przestrzeni osadzeń. Kandydat będący najlepszym dopasowaniem do wymagań stanowiska „Data Scientist” (duży nacisk na dane i ML, SQL) może spaść na środek stawki przy wymaganiach stanowiska „Product Manager” (duży nacisk na produkt/UX, przywództwo, komunikację), ponieważ kąt jego wektora względem nowego wektora oferty jest po prostu mniej zbieżny, mimo że umiejętności kandydata wcale się nie zmieniły.

Udowodniono, że prawdziwe narzędzia rekrutacyjne oparte na embeddingach kodują i wzmacniają uprzedzenia obecne w danych treningowych — na przykład systematycznie obniżają ocenę CV wspominających o żeńskich uczelniach, określonych nazwiskach czy nietypowych przerwach w karierze, ponieważ model nauczył się tych korelacji z historycznych wzorców zatrudniania, a nie z żadnego rzeczywistego sygnału umiejętności. Ręcznie zbudowane, przejrzyste wektory umiejętności tej symulacji nie mogą odtworzyć tego rodzaju błędu, co jest właśnie clou sprawy: prawdziwe systemy wymagają jawnych audytów sprawiedliwości, usuwania chronionych atrybutów i weryfikacji przez człowieka właśnie dlatego, że ich embeddingi są nieprzejrzyste w sposób, w jaki ten ośmiowymiarowy model-zabawka celowo nie jest.