أداة للمطورين / 31
أداة تصور تقسيم النص والتداخل في RAG
تصوّر استراتيجيات تقسيم النص، وأحجام المقاطع بالرموز أو الأحرف، والتداخل لفهرسة المتجهات في RAG داخل المتصفح.
أداة تصور تقسيم النص والتداخل في RAG: تُقسّم TOEA المستندات محليًا إلى مقاطع نصية باستخدام الاستراتيجية التي تختارها. وتحسب نطاقات الأحرف، والتقديرات التقريبية لعدد الرموز (~4 أحرف/رمز)، ونص التداخل الصريح بين المقاطع المتتالية. يعمل 100% محليًا في المتصفح، من دون رفع أي ملفات إلى الخادم.
- الفئة
- أدوات المطورين
- مرات التشغيل
- في المتصفح
- التكلفة
- مجاني · بلا تسجيل
- التوفر
- جاهز للاستخدام
مقاطع المستند المُنشأة وتداخلاتها
# مقدمة إلى التوليد المعزز بالاسترجاع (RAG) يعزز التوليد المعزز بالاسترجاع نماذج اللغة الكبيرة من خلال إسناد مخرجاتها إلى قواعد معرفة خارجية. وبدلًا من الاعتماد فقط على الذاكرة البارامترية المكتسبة أثناء التدريب، تسترجع نماذج RAG مقاطع نصية ذات صلة وقت الاستدلال. ## استراتيجيات التقسيم إلى مقاطع
يعزز التوليد المعزز بالاسترجاع نماذج اللغة الكبيرة من خلال إسناد مخرجاتها إلى قواعد معرفة خارجية. وبدلًا من الاعتماد فقط على الذاكرة البارامترية المكتسبة أثناء التدريب، تسترجع نماذج RAG مقاطع نصية ذات صلة وقت الاستدلال. ## استراتيجيات التقسيم إلى مقاطع
## استراتيجيات التقسيم إلى مقاطع يُعد تقسيم النص بشكل صحيح أمرًا بالغ الأهمية لدقة RAG. يقسم التقسيم بالحجم الثابت المستندات إلى فواصل موحّدة بالأحرف. ويحافظ التقسيم القائم على الجمل على الوحدات النحوية. أما تقسيم Markdown فيُجزّئ النص عند عناوين الأقسام. ## فهرسة المتجهات
يُعد تقسيم النص بشكل صحيح أمرًا بالغ الأهمية لدقة RAG. يقسم التقسيم بالحجم الثابت المستندات إلى فواصل موحّدة بالأحرف. ويحافظ التقسيم القائم على الجمل على الوحدات النحوية. أما تقسيم Markdown فيُجزّئ النص عند عناوين الأقسام. ## فهرسة المتجهات
## فهرسة المتجهات بعد إنشاء المقاطع، تحوّل نماذج التضمين المقاطع النصية إلى تمثيلات متجهية كثيفة. وتُفهرس هذه المتجهات في قواعد بيانات متجهية مثل Pinecone وQdrant وPGVector لإجراء بحث سريع عن تشابه جيب التمام.
الأحرف، والرموز، وحدود النموذج
حجم المقطع هنا محسوب بالأحرف، ويفترض عدد الرموز نحو أربعة أحرف لكل رمز، وهو افتراض يصح مع النثر الإنجليزي. تستخدم التعليمات البرمجية والأرقام والعديد من اللغات الأخرى رموزًا أكثر لكل حرف، لذا اترك هامشًا إضافيًا. تحقّق من الناتج مقابل حد الإدخال لنموذج التضمين لديك: تتوقف العديد من النماذج المشابهة لـ BERT عند 512 رمزًا وتحذف عادةً ما يتبقى، بينما تقبل نماذج text-embedding-3 من OpenAI عدد 8,191 رمزًا. عند الحد الأقصى البالغ 2,000 حرف، يبلغ حجم المقطع نحو 500 رمز إنجليزي.
قراءة المعاينة
ابحث عن مقاطع تبدأ في منتصف فكرة، وعناوين منفصلة عن النص الذي تقدمه، وجداول أو كتل تعليمات برمجية مقسّمة إلى جزأين؛ إذ سيُسترجع كل منها من دون السياق الذي يمنحه المعنى. مع استراتيجيات الجمل والفقرات وMarkdown، تُحفظ الوحدة الواحدة التي يتجاوز طولها حجم المقطع كاملةً، لذا يشير المقطع الأكبر من المعتاد غالبًا إلى فقرة أو قسم طويل جدًا.
مع هذه الاستراتيجيات الثلاث، يتراجع التداخل أيضًا بمقدار جمل أو فقرات أو أقسام كاملة، وليس بعدد أحرف دقيق. وتضيف العديد من مسارات المعالجة أيضًا عنوان المستند أو عنوان القسم في بداية كل مقطع قبل تضمينه.
طريقة الاستخدام
- الصق المستند أو التعليمات البرمجية في المحرر.
- اختر استراتيجية التقسيم (الفقرات، الجمل، عناوين Markdown، أو الحجم الثابت)، واضبط منزلقَي حجم المقطع المستهدف والتداخل.
- افحص حدود المقاطع المرمّزة بالألوان، ومقاييس الأحرف والرموز، ونوافذ التداخل.
الخصوصية والقيود
يبقى مستندك المصدر بنسبة 100% داخل ذاكرة المتصفح.
أدوات ذات صلة
الأسئلة الشائعة
ما استراتيجية تقسيم النص التي ينبغي استخدامها مع RAG؟
تعمل حدود الفقرات بأفضل شكل مع النصوص العامة، وعناوين Markdown مع الوثائق المنظّمة، وحدود الجمل مع أسئلة وأجوبة عالية الدقة.
لماذا يُعد تداخل المقاطع مهمًا؟
يمنع التداخل فقدان المعنى عند حدود المقاطع، ويضمن أن تلتقط عمليات البحث عن التشابه بين المتجهات السياق الممتد عبر نقاط التقسيم.
أداة مجانية · عدد مرات الاستخدام في المتصفح · لا يتطلب حسابًا