{"id":4269,"date":"2024-12-09T10:16:41","date_gmt":"2024-12-09T09:16:41","guid":{"rendered":"https:\/\/staging.qtravel.ai\/?p=4269"},"modified":"2025-01-21T12:22:08","modified_gmt":"2025-01-21T11:22:08","slug":"jak-dzialaja-systemy-rekomendacji-oparte-na-podobienstwie-tekstu","status":"publish","type":"post","link":"https:\/\/www.qtravel.ai\/pl\/blog\/jak-dzialaja-systemy-rekomendacji-oparte-na-podobienstwie-tekstu\/","title":{"rendered":"Jak dzia\u0142aj\u0105 systemy rekomendacji oparte na podobie\u0144stwie tekstu?"},"content":{"rendered":"

W dzisiejszym \u015bwiecie w\u0142a\u015bciwie dopasowane rekomendacje sta\u0142y si\u0119 kluczowym elementem pozytywnych do\u015bwiadcze\u0144 u\u017cytkownika. Dzi\u0119ki nim mo\u017cemy sprawnie podpowiedzie\u0107 klientom, jakie tre\u015bci mog\u0105 ich jeszcze zainteresowa\u0107, a tym samym \u2014 zach\u0119ci\u0107 do sprawdzenia szerszego wachlarza naszej oferty. Systemy rekomendacji wykorzystuj\u0105ce analiz\u0119 podobie\u0144stwa tekstu efektywnie \u0142\u0105cz\u0105 u\u017cytkownik\u00f3w z najbardziej odpowiednimi dokumentami, oszcz\u0119dzaj\u0105c ich czas i wysi\u0142ek.<\/span><\/p>\n

W niniejszym artykule om\u00f3wimy, jak dzia\u0142aj\u0105 systemy rekomendacji oparte na podobie\u0144stwie tre\u015bci. Skupimy si\u0119 na dw\u00f3ch fundamentalnych algorytmach – TF-IDF oraz BM25.<\/span><\/p>\n

Om\u00f3wimy, jak dzia\u0142aj\u0105, czym si\u0119 od siebie r\u00f3\u017cni\u0105, a tak\u017ce poka\u017cemy, jak za pomoc\u0105 narz\u0119dzia Qtravel Search API mo\u017cemy w szybki spos\u00f3b uruchomi\u0107 rekomendacje ofert turystycznych opartych na ww. algorytmach.<\/span><\/p>\n

Czym s\u0105 algorytmy rekomenduj\u0105ce tre\u015bci?<\/span><\/h2>\n

Zanim przejdziemy do szczeg\u00f3\u0142owego om\u00f3wienia metod TF-IDF oraz BM25, wyja\u015bnijmy, czym w\u0142a\u015bciwie jest rekomendowanie ofert na podstawie podobie\u0144stwa tre\u015bci.<\/span><\/p>\n

Sp\u00f3jrzmy na przyk\u0142ad ze strony empik.com:<\/span><\/p>\n

\"\"<\/span>
\n<\/span>Kiedy przegl\u0105damy informacje ksi\u0105\u017cce „Wied\u017amin: Rozdro\u017ce Kruk\u00f3w”, pod g\u0142\u00f3wnym opisem produktu system rekomenduje nam sekcj\u0119 „Podobne produkty”. Znajduj\u0105 si\u0119 tam inne cz\u0119\u015bci sagi o Wied\u017aminie, powie\u015bci Sapkowskiego oraz podobne ksi\u0105\u017cki fantasy. To w\u0142a\u015bnie przyk\u0142ad dzia\u0142ania rekomendacji opartych o podobie\u0144stwo tre\u015bci – system analizuje opis ksi\u0105\u017cki, jej kategorie, tagi oraz inne metadane, by wskaza\u0107 produkty najbardziej zbli\u017cone tematycznie.<\/span><\/p>\n

Rekomendowanie ofert na podstawie podobie\u0144stwa tre\u015bci <\/span>(ang. text-similarity lub content similarity)<\/span><\/i> to jeden z podstawowych mechanizm\u00f3w stosowanych w silnikach wyszukiwania pe\u0142notekstowego. System analizuje teksty opisuj\u0105ce produkty i na tej podstawie okre\u015bla, kt\u00f3re z nich s\u0105 do siebie najbardziej podobne.<\/span><\/p>\n

Do realizacji tego zadania wykorzystuje si\u0119 zaawansowane algorytmy, takie jak TF-IDF (<\/span>ang. Term Frequency-Inverse Document Frequency<\/span><\/i>) oraz BM25 (<\/span>ang. Best Matching 25<\/span><\/i>). Oba podej\u015bcia pozwalaj\u0105 na ocen\u0119 wa\u017cno\u015bci s\u0142\u00f3w w dokumentach i ich dopasowania do zapyta\u0144, stanowi\u0105c podstaw\u0119 wielu nowoczesnych system\u00f3w wyszukiwania i rekomendacji, takich jak Apache Solr, Elasticsearch, OpenSearch i innych wyszukiwarek opartych na bibliotece Lucene.<\/span><\/p>\n

Metryki podobie\u0144stwa tre\u015bci<\/span><\/h2>\n

G\u0142\u00f3wnym elementem pozwalaj\u0105cym na tworzenie rekomendacji opartych na tre\u015bci s\u0105 metryki podobie\u0144stwa. Jak sama nazwa wskazuje, s\u0142u\u017c\u0105 one do wyra\u017cenia podobie\u0144stwa pomi\u0119dzy dowolnymi tekstami w postaci skalarnej. Wynik ten (<\/span>ang. score<\/span><\/i>) pos\u0142u\u017cy nam do sortowania danych dokument\u00f3w tak, aby te z najwi\u0119kszymi warto\u015bciami proponowane by\u0142y klientowi jako pierwsze. Innymi s\u0142owy, im wi\u0119ksza warto\u015b\u0107 podobie\u0144stwa, tym dokument jest bardziej podobny do zapytania. Aby m\u00f3c dok\u0142adniej zinterpretowa\u0107 otrzymywane wyniki, sprawd\u017amy, w jaki spos\u00f3b obliczy\u0107 te warto\u015bci.<\/span><\/p>\n

TF-IDF<\/span><\/h3>\n

Term Frequency-Inverse Document Frequency (TF-IDF) to jeden z najlepszych i jednocze\u015bnie najprostszych sposob\u00f3w obliczania podobie\u0144stwa w korpusie dokument\u00f3w tekstowych. Wyra\u017ca si\u0119 go jako iloczyn dw\u00f3ch sk\u0142adowych TF oraz IDF:<\/span><\/p>\n

Term Frequency (TF)<\/b>, czyli cz\u0119sto\u015b\u0107 terminu,<\/span> kt\u00f3r\u0105 okre\u015bla si\u0119 poprzez liczb\u0119 wyst\u0105pie\u0144 badanego terminu w dokumencie podzielon\u0105 przez og\u00f3ln\u0105 liczb\u0119 termin\u00f3w w dokumencie.<\/span><\/p>\n

\"\"<\/p>\n

Fakt, i\u017c korzystamy ze stosunku tych dw\u00f3ch liczb, a nie samej liczby wyst\u0105pie\u0144 danego terminu nie jest przypadkowy. We\u017amy pod uwag\u0119 taki przyk\u0142ad:<\/span><\/p>\n

Badany termin: <\/span>Portugalia<\/span><\/i>.<\/span><\/p>\n

Dokument A<\/span><\/i><\/p>\n

> Tydzie\u0144 pobytu w Sewilli. Zwiedzanie zabytk\u00f3w starego miasta i okolic z jednodniow\u0105 wycieczk\u0105 do Portugalii. W Portugalii zobaczymy ocean oraz nieziemsk\u0105 pla\u017c\u0119<\/span><\/p>\n

22 s\u0142owa, \u201cPortugalia\u201d pojawia si\u0119 2 razy.<\/span><\/p>\n

 <\/p>\n

Dokument B<\/span><\/i><\/p>\n

> Wycieczka objazdowa po Portugalii z lokalnym przewodnikiem.<\/span><\/p>\n

7 s\u0142\u00f3w, \u201cPortugalia\u201d pojawia si\u0119 tylko raz.<\/span><\/p>\n

Gdyby\u015bmy uwzgl\u0119dniali tylko liczb\u0119 wyst\u0105pie\u0144 badanego terminu , to mogliby\u015bmy wywnioskowa\u0107, \u017ce dokument <\/span>A<\/b> jest dwa razy \u201cmocniej\u201d zwi\u0105zany z terminem <\/span>Portugalia<\/span><\/i> ni\u017c dokument <\/span>B<\/b>, co jest oczywi\u015bcie nieprawd\u0105, bo widzimy, \u017ce to dokument <\/span>B<\/b> przedstawia wycieczk\u0119 po Portugalii, a w dokumencie <\/span>A<\/b> jest tylko wzmianka o jednodniowym wypadzie. Po normalizacji za\u015b, otrzymamy warto\u015bci <\/span>TF<\/b> r\u00f3wne odpowiednio 1\/11 dla dokumentu <\/span>A<\/b> oraz 1\/7 dla dokumentu <\/span>B<\/b>, na podstawie czego wnioskujemy, \u017ce to w\u0142a\u015bnie ten drugi jest bardziej zwi\u0105zany z terminem <\/span>Portugalia<\/span><\/i>.<\/span><\/p>\n

 <\/p>\n

Inverse Document Frequency (IDF)<\/b>, czyli odwrotna cz\u0119sto\u015b\u0107 w dokumentach, to logarytm ze stosunku liczby dokument\u00f3w w indeksie do liczby dokument\u00f3w zawieraj\u0105cych co najmniej jedno wyst\u0105pienie badanego terminu.<\/span><\/p>\n

Stosunek, kt\u00f3ry jest liczb\u0105 logarytmowan\u0105 to w zasadzie odwrotno\u015b\u0107 warto\u015bci DF, kt\u00f3ra oznacza cz\u0119sto\u015b\u0107 wyst\u0119powania dokument\u00f3w z badanym terminem. Analogicznie do poprzedniej sk\u0142adowej, dokonujemy normalizacji dziel\u0105c t\u0119 liczb\u0119 przez og\u00f3lny rozmiar korpusu.<\/span><\/p>\n

\"\"<\/p>\n

gdzie:<\/span><\/p>\n