RAG — системи генерації з пошуком

Пайплайн

ETL → chunking → ембедінги → індекс → запити → відбір → rerank → побудова промпту → генерація → цитування.

Індекси і пошук

FAISS/ScaNN/HNSW, hybrid BM25+Vector, змістовні метадані, часова декей-функція.

Якість

Метрики faithfulness/groundedness, відповіді з цитатами, оцінка LLM-as-judge, A/B тестування і людська валідація.

Безпека і приватність

Контроль доступу на рівні документів, PII-фільтри, prompt injection захист, розмежування просторів даних.

Гайд з прикладами

Приклад: Hybrid-search RAG

Побудувати BM25 + HNSW індекси.

Змішати результати за вагою; rerank cross-encoder-ом.

У промпті вимагати цитати з ідентифікаторами документів.

Спробуйте наживо

Усе, що вище, працює прямо у вашому браузері — відкрийте Hash Function Avalanche Visualizer і змінюйте параметри під час роботи. Нічого не встановлюється, нічого не завантажується на сервер, уся модель живе в одній вкладці.