инструмент для разработчиков / 31
Визуализатор разбиения текста и перекрытий для RAG
Визуализируйте стратегии разбиения текста, размеры фрагментов в токенах и символах и перекрытия для векторной индексации RAG в браузере.
Визуализатор разбиения текста и перекрытий для RAG: TOEA локально разбивает документы на текстовые фрагменты с использованием выбранной стратегии. Инструмент вычисляет диапазоны символов, оценивает количество токенов (~4 символа на токен) и показывает явный текст перекрытия между соседними фрагментами. Работает на 100% локально в вашем браузере, файлы на сервер не загружаются.
- Категория
- Инструменты для разработчиков
- Запуски
- В вашем браузере
- Стоимость
- Бесплатно · без регистрации
- Доступность
- Готово к использованию
Созданные фрагменты документа и перекрытия
# Введение в генерацию с дополнением поиска (RAG)
Генерация с дополнением поиска расширяет возможности больших языковых моделей, основывая ответы на внешних базах знаний. Вместо того чтобы полагаться только на параметрическую память, полученную во время обучения, модели RAG извлекают релевантные фрагменты текста во время вывода.
Генерация с дополнением поиска расширяет возможности больших языковых моделей, основывая ответы на внешних базах знаний. Вместо того чтобы полагаться только на параметрическую память, полученную во время обучения, модели RAG извлекают релевантные фрагменты текста во время вывода.
## Стратегии разбиения на фрагменты
## Стратегии разбиения на фрагменты
Правильное разбиение текста на фрагменты критически важно для точности RAG. Разбиение на фрагменты фиксированного размера делит документы на интервалы одинаковой длины в символах. Разбиение по предложениям сохраняет грамматические единицы. Разбиение Markdown выполняется по заголовкам разделов.
Правильное разбиение текста на фрагменты критически важно для точности RAG. Разбиение на фрагменты фиксированного размера делит документы на интервалы одинаковой длины в символах. Разбиение по предложениям сохраняет грамматические единицы. Разбиение Markdown выполняется по заголовкам разделов.
## Векторная индексация После создания фрагментов модели эмбеддингов преобразуют их в плотные векторные представления. Эти векторы индексируются в векторных базах данных, таких как Pinecone, Qdrant или PGVector, для быстрого поиска по косинусному сходству.
Символы, токены и ограничения моделей
Размер фрагмента здесь указывается в символах, а число токенов рассчитано примерно из расчёта 4 символа на токен — для английского текста это обычно подходит. В коде, числах и многих других языках на один символ приходится больше токенов, поэтому оставляйте запас. Сверьте результат с ограничением на входные данные вашей embedding-модели: многие модели в стиле BERT останавливаются на 512 токенах и обычно отбрасывают остальное, тогда как модели OpenAI text-embedding-3 принимают 8,191. При максимальном размере 2,000 символов один фрагмент содержит примерно 500 токенов английского текста.
Как читать предварительный просмотр
Ищите фрагменты, которые начинаются посреди мысли, заголовки, отделённые от текста, который они вводят, а также таблицы или блоки кода, разрезанные на две части: каждый такой фрагмент будет найден без контекста, придающего ему смысл. В стратегиях по предложениям, абзацам и Markdown отдельная единица, превышающая размер фрагмента, сохраняется целиком, поэтому слишком большой фрагмент обычно указывает на очень длинный абзац или раздел.
В этих трёх стратегиях перекрытие также добавляется целыми предложениями, абзацами или разделами, а не по точному числу символов. Во многих конвейерах перед embedding к каждому фрагменту также добавляют заголовок документа или раздела.
Как пользоваться
- Вставьте документ или код в редактор.
- Выберите стратегию разбиения (абзацы, предложения, заголовки Markdown или фиксированный размер) и настройте целевой размер фрагмента и перекрытие с помощью ползунков.
- Изучите цветовые границы фрагментов, показатели символов и токенов, а также окна перекрытия.
Конфиденциальность и ограничения
Исходный документ на 100% остаётся в памяти вашего браузера.
Похожие инструменты
Часто задаваемые вопросы
Какую стратегию разбиения выбрать для RAG?
Для обычного текста лучше всего подходят границы абзацев; для структурированной документации — заголовки Markdown; для вопросов и ответов с высокой точностью — границы предложений.
Зачем нужно перекрытие фрагментов?
Перекрытие предотвращает потерю смысла на границах фрагментов и помогает поиску по сходству векторов учитывать контекст, проходящий через места разбиения.
Бесплатный инструмент · запусков: в вашем браузере · аккаунт не нужен