Strumento per sviluppatori / 31
Visualizzatore di suddivisione e sovrapposizione del testo RAG
Visualizza strategie di suddivisione del testo, dimensioni dei chunk in token o caratteri e sovrapposizioni per l'indicizzazione vettoriale RAG nel browser.
Visualizzatore di suddivisione e sovrapposizione del testo RAG: TOEA suddivide i documenti localmente in chunk di testo usando la strategia che hai scelto. Calcola gli intervalli di caratteri, una stima dei token (~4 caratteri/token) e il testo di sovrapposizione esplicito tra chunk consecutivi. Funziona al 100% localmente nel browser, senza caricare file sul server.
- Categoria
- Strumenti per sviluppatori
- Esecuzioni
- Nel browser
- Costo
- Gratuito · senza registrazione
- Disponibilità
- Pronto all'uso
Blocchi del documento generati e sovrapposizioni
# Introduction to Retrieval-Augmented Generation (RAG) Retrieval-Augmented Generation enhances Large Language Models by grounding outputs on external knowledge bases. Instead of relying solely on parametric memory learned during training, RAG models fetch relevant text passages at inference time.
Retrieval-Augmented Generation enhances Large Language Models by grounding outputs on external knowledge bases. Instead of relying solely on parametric memory learned during training, RAG models fetch relevant text passages at inference time. ## Chunking Strategies
## Chunking Strategies Proper text chunking is critical for RAG accuracy. Fixed-size chunking splits documents into uniform character intervals. Sentence-based chunking preserves grammatical units. Markdown chunking splits along section headers. ## Vector Indexing
Proper text chunking is critical for RAG accuracy. Fixed-size chunking splits documents into uniform character intervals. Sentence-based chunking preserves grammatical units. Markdown chunking splits along section headers. ## Vector Indexing
## Vector Indexing Once chunks are generated, embedding models convert text chunks into dense vector representations. These vectors are indexed in vector databases like Pinecone, Qdrant, or PGVector for fast cosine similarity search.
Caratteri, token e limiti del modello
Qui la dimensione del blocco è espressa in caratteri e il numero di token presuppone circa quattro caratteri per token, un rapporto valido per la prosa inglese. Il codice, i numeri e molte altre lingue usano più token per carattere, quindi lascia un margine. Verifica il risultato rispetto al limite di input del tuo modello di embedding: molti modelli in stile BERT si fermano a 512 token e in genere eliminano il resto, mentre i modelli text-embedding-3 di OpenAI accettano 8.191. Al massimo di 2.000 caratteri, un blocco corrisponde all'incirca a 500 token inglesi.
Leggere l'anteprima
Cerca i blocchi che iniziano a metà di un pensiero, i titoli separati dal testo che introducono e le tabelle o i blocchi di codice divisi in due: ciascuno verrà recuperato senza il contesto che gli dà significato. Con le strategie per frasi, paragrafi e Markdown, una singola unità più lunga della dimensione del blocco viene mantenuta intera; un blocco sovradimensionato indica quindi di solito un paragrafo o una sezione molto lunghi.
Con queste tre strategie, anche la sovrapposizione arretra per frasi, paragrafi o sezioni interi, anziché per un numero esatto di caratteri. Molte pipeline antepongono inoltre il titolo del documento o il titolo della sezione a ogni blocco prima di generare l'embedding.
Come usarlo
- Incolla il documento o il codice nell'editor.
- Scegli una strategia di suddivisione (Paragrafo, Frase, Intestazioni Markdown o Dimensione fissa) e regola i cursori per la dimensione target e la sovrapposizione dei chunk.
- Esamina i confini dei chunk con codici colore, le metriche di caratteri e token e le finestre di sovrapposizione.
Privacy e limitazioni
Il documento di origine rimane al 100% nella memoria del tuo browser.
Strumenti correlati
Domande frequenti
Quale strategia di suddivisione devo usare per RAG?
I confini dei paragrafi funzionano meglio per il testo generico; le intestazioni Markdown sono indicate per la documentazione strutturata; i confini delle frasi sono adatti alle domande e risposte ad alta precisione.
Perché la sovrapposizione tra chunk è importante?
La sovrapposizione evita la perdita di significato tra i confini dei chunk, assicurando che le ricerche per similarità vettoriale acquisiscano il contesto che attraversa i punti di suddivisione.
Strumento gratuito · nel browser esecuzioni · senza account