📄 Резюматор Юридичних Документів — TextRank Наживо

TextRank — це алгоритм ранжування на основі графа, адаптований з PageRank Google. Кожне речення документа стає вузлом графа, а ребра зважуються за тим, наскільки схожі два речення. Запуск степеневої ітерації PageRank над цим графом дає бал важливості для кожного речення; речення з найвищими балами, взяті в оригінальному порядку, формують вилучене резюме.

Кожне речення токенізується в слова змісту в нижньому регістрі з видаленням поширених стоп-слів. Подібність між двома реченнями — це кількість спільних слів, нормалізована сумою логарифмів кількості слів кожного речення — міра перекриття з оригінальної статті TextRank Міхалчі та Тарау. Це створює справжній зважений граф подібності речень, а не декоративний.

Коефіцієнт затухання (d) — той самий параметр, що використовується в PageRank: на кожній ітерації бал речення — це суміш малої постійної базової лінії, (1-d)/N, плюс d, помножене на бали, які він успадковує від подібних речень. Вище затухання означає, що бали поширюються далі графом подібності перед стабілізацією.

Коефіцієнт стиснення встановлює, яка частка речень документа зберігається у вилученому резюме. Він переупорядковує речення за їхнім живим балом TextRank, зберігає верхню частку, а потім пересортовує цю підмножину назад в оригінальний порядок документа, тож резюме все ще читається зв'язно.

Це справжня реалізація. Симуляція будує реальну зважену матрицю суміжності зі справжніх балів подібності на основі перекриття тексту й запускає затухаючу рекурентність PageRank через степеневу ітерацію, доки бали не перестануть змінюватися більш ніж на малу епсилон, точно як екстрактивні резюматори TextRank працюють у виробничих бібліотеках NLP.