alat za programere / 31
Vizuelizator RAG segmentiranja teksta i preklapanja
Vizuelizujte načine podele teksta, veličine segmenata u tokenima/karakterima i preklapanja za RAG vektorsko indeksiranje u pregledaču.
Vizuelizator RAG segmentiranja teksta i preklapanja: TOEA lokalno deli dokumente na tekstualne segmente pomoću izabranog načina podele. Računa opsege karaktera, procene broja tokena (~4 karaktera/token) i eksplicitni tekst preklapanja između uzastopnih segmenata. Radi 100% lokalno u vašem pregledaču, bez otpremanja datoteka na server.
- Kategorija
- Alatke za programere
- Pokretanja
- U vašem pregledaču
- Trošak
- Besplatno · bez registracije
- Dostupnost
- Spremno za upotrebu
Generisani segmenti dokumenta i preklapanja
# Uvod u generisanje potpomognuto pretraživanjem (RAG)
Generisanje potpomognuto pretraživanjem unapređuje velike jezičke modele tako što njihove izlaze zasniva na spoljnim bazama znanja. Umesto da se oslanjaju isključivo na parametrijsko pamćenje naučeno tokom obuke, RAG modeli u trenutku zaključivanja preuzimaju relevantne odlomke teksta.
Generisanje potpomognuto pretraživanjem unapređuje velike jezičke modele tako što njihove izlaze zasniva na spoljnim bazama znanja. Umesto da se oslanjaju isključivo na parametrijsko pamćenje naučeno tokom obuke, RAG modeli u trenutku zaključivanja preuzimaju relevantne odlomke teksta.
## Strategije segmentiranja Pravilno segmentiranje teksta ključno je za preciznost RAG-a. Segmentiranje fiksne veličine deli dokumente na jednake intervale po broju znakova. Segmentiranje na osnovu rečenica čuva gramatičke celine. Markdown segmentiranje deli tekst prema naslovima odeljaka.
Pravilno segmentiranje teksta ključno je za preciznost RAG-a. Segmentiranje fiksne veličine deli dokumente na jednake intervale po broju znakova. Segmentiranje na osnovu rečenica čuva gramatičke celine. Markdown segmentiranje deli tekst prema naslovima odeljaka. ## Vektorsko indeksiranje
## Vektorsko indeksiranje Kada se segmenti generišu, modeli za ugrađivanje pretvaraju tekstualne segmente u guste vektorske reprezentacije. Ovi vektori se indeksiraju u vektorskim bazama podataka kao što su Pinecone, Qdrant ili PGVector radi brze pretrage po kosinusnoj sličnosti.
Znakovi, tokeni i ograničenja modela
Veličina segmenta ovde se izražava u znakovima, a broj tokena pretpostavlja oko četiri znaka po tokenu, što važi za prozni tekst na engleskom. Kôd, brojevi i mnogi drugi jezici koriste više tokena po znaku, zato ostavite rezervu. Proverite rezultat prema ograničenju unosa vašeg embedding modela: mnogi modeli u BERT stilu zaustavljaju se na 512 tokena i obično odbacuju ostatak, dok OpenAI text-embedding-3 modeli prihvataju 8,191. Pri maksimalnoj veličini od 2,000 znakova, segment ima približno 500 tokena na engleskom.
Čitanje pregleda
Obratite pažnju na segmente koji počinju usred misli, naslove odvojene od teksta koji uvode i tabele ili blokove kôda presečene na dva dela; svaki od njih biće pronađen bez konteksta koji mu daje značenje. Kod strategija sa rečenicama, pasusima i Markdownom, jedna celina duža od veličine segmenta zadržava se u celosti, pa preveliki segment obično ukazuje na veoma dug pasus ili odeljak.
Kod te tri strategije, preklapanje se takođe vraća za cele rečenice, pasuse ili odeljke, a ne za tačan broj znakova. Mnogi procesi takođe dodaju naslov dokumenta ili naslov odeljka na početak svakog segmenta pre embeddinga.
Kako se koristi
- Nalepite dokument ili kod u uređivač.
- Izaberite način podele (Paragraf, Rečenica, Markdown zaglavlja ili Fiksna veličina) i podesite klizače za ciljnu veličinu segmenta i preklapanje.
- Pregledajte granice segmenata označene bojama, metriku karaktera/tokena i prozore preklapanja.
Privatnost i ograničenja
Vaš izvorni dokument ostaje 100% u memoriji vašeg pregledača.
Srodne alatke
Često postavljana pitanja
Koji način segmentiranja treba da koristim za RAG?
Granice paragrafa najbolje odgovaraju opštem tekstu; Markdown zaglavlja strukturisanoj dokumentaciji; a granice rečenica pitanjima i odgovorima visoke preciznosti.
Zašto je preklapanje segmenata važno?
Preklapanje sprečava gubitak značenja na granicama segmenata i omogućava da pretrage vektorske sličnosti obuhvate kontekst koji se proteže preko tačaka podele.
Besplatan alat · pokretanja: u vašem pregledaču · nalog nije potreban