RAG टेक्स्ट चंकिंग और ओवरलैप विज़ुअलाइज़र

Characters, tokens और model limits

यहाँ chunk size characters में है और token का आँकड़ा प्रति token लगभग चार characters मानता है, जो English prose के लिए ठीक है। Code, numbers और कई अन्य भाषाएँ प्रति character अधिक tokens इस्तेमाल करती हैं, इसलिए कुछ जगह बचाकर रखें। परिणाम को अपने embedding model की input limit से जाँचें: कई BERT-style models 512 tokens पर रुक जाते हैं और आम तौर पर बाकी हिस्सा हटा देते हैं, जबकि OpenAI के text-embedding-3 models 8,191 स्वीकार करते हैं। 2,000-character maximum पर एक chunk लगभग 500 English tokens का होता है।

Preview पढ़ना

ऐसे chunks देखें जो विचार के बीच से शुरू होते हैं, ऐसे headings जो अपने परिचय वाले टेक्स्ट से अलग हो गए हों, और ऐसी tables या code blocks जो दो हिस्सों में कट गए हों; हर चीज़ उस संदर्भ के बिना retrieve होगी जो उसे अर्थ देता है। Sentence, paragraph और Markdown strategies के साथ chunk size से लंबी एकल unit को पूरा रखा जाता है, इसलिए oversized chunk आम तौर पर बहुत लंबे paragraph या section की ओर संकेत करता है।

इन तीनों strategies में overlap भी सटीक character count के बजाय पूरे sentences, paragraphs या sections के आधार पर पीछे जाता है। कई pipelines embedding से पहले हर chunk की शुरुआत में document title या section heading भी जोड़ती हैं।

इस्तेमाल करने का तरीका

1. एडिटर में अपना दस्तावेज़ या कोड पेस्ट करें।
2. विभाजन रणनीति (पैराग्राफ, वाक्य, Markdown हेडर या निश्चित आकार) चुनें और लक्ष्य चंक आकार व ओवरलैप स्लाइडर समायोजित करें।
3. रंगों से दिखाए गए चंक बॉर्डर, अक्षर/टोकन मेट्रिक्स और लगातार चंक्स के बीच ओवरलैप विंडो देखें।

गोपनीयता और सीमाएँ

आपका स्रोत दस्तावेज़ 100% आपके ब्राउज़र की मेमोरी के अंदर ही रहता है।