JSON и таблицы / Очистка
Удаление дубликатов данных: убрать повторяющиеся строки по столбцу
Вставьте CSV-данные или список и удалите повторяющиеся строки: сравнивайте выбранные столбцы или всю строку, при необходимости игнорируйте регистр и лишние пробелы, сохраняйте первую или последнюю копию и смотрите, какие значения повторяются и как часто.
Удаление дубликатов данных: убрать повторяющиеся строки по столбцу: Для каждой строки создаётся ключ из выбранных столбцов с применением указанных настроек очистки. Затем сохраняется только первая (или последняя) строка с каждым ключом, при этом исходный порядок сохраняется. В примере сравнение по email без учёта регистра оставляет Ana и Ben и удаляет вторую строку Ana и Cy, поскольку email Cy повторяется у Ben. Работает на 100% локально в вашем браузере, файлы на сервер не загружаются.
- Категория
- Инструменты для разработчиков
- Запуски
- В вашем браузере
- Стоимость
- Бесплатно · без регистрации
- Доступность
- Готово к использованию
Полностью работает в браузере
Результат
name,email Ana,ana@example.com Ben,ben@example.com
| Повторяющееся значение | Время |
|---|---|
| ana@example.com | 2 |
| ben@example.com | 2 |
Строки считаются дубликатами, если совпадают отмеченные столбцы, или если совпадает вся строка, когда столбцы не отмечены. Игнорирование регистра и лишних пробелов позволяет распознать такие записи, как «ANA » и «ana». Результат сохраняет исходный порядок, и его можно вставить обратно в электронную таблицу. Поля CSV в кавычках, содержащие запятые или переносы строк, обрабатываются.
Поиск почти одинаковых записей
Игнорирование регистра и пробелов обнаруживает «ANA » и «ana», но различия в написании и прозвища по-прежнему требуют проверки человеком или инструмента нечёткого сопоставления.
Простые списки
Для простого списка без столбцов быстрее использовать инструмент удалить повторяющиеся строки.
Как пользоваться
- Вставьте данные CSV с заголовком или без него.
- Отметьте столбцы для сравнения и выберите настройки регистра, пробелов и сохраняемой копии.
- Скопируйте CSV без дубликатов.
Конфиденциальность и ограничения
Ваши данные остаются в браузере и никогда не загружаются на сервер.
Похожие инструменты
Часто задаваемые вопросы
Чем это отличается от удаления повторяющихся строк?
Инструмент учитывает столбцы: две строки могут считаться дубликатами по email, даже если имена отличаются. Запятые в кавычках внутри ячеек также обрабатываются корректно.
Какую копию следует сохранить?
Первую — для самой ранней записи; последнюю — для последнего обновления, если строки расположены в порядке дат.
Можно ли обрабатывать большие файлы?
В браузере обрабатываются десятки тысяч строк; для миллионов строк лучше использовать базу данных или инструмент командной строки.
Бесплатный инструмент · запусков: в вашем браузере · аккаунт не нужен