Обзор команды uniq
`uniq` — это сокращение от 'unique' (уникальный), и она выполняет поиск и обработку повторяющихся строк в файле. Важно отметить, что `uniq` обрабатывает только **последовательно повторяющиеся строки**. Поэтому для удаления дубликатов из всего файла необходимо сначала отсортировать данные с помощью команды `sort`.
Принцип работы uniq
Команда uniq построчно считывает входные данные и сравнивает каждую строку с предыдущей. Если две строки одинаковы, они считаются дубликатами; если нет — новая строка считается уникальной. Из-за этого процесса для удаления дубликатов из всего файла необходимо предварительно отсортировать файл с помощью команды `sort`.
Основные опции
Используя различные опции команды `uniq`, вы можете выполнять детальные операции, такие как удаление дубликатов, подсчет и вывод определенных строк.
1. Основные функции
2. Управление методом сравнения
Сгенерированная команда:
Комбинируйте команды.
Описание:
`uniq` Запускает команду.
Комбинируйте эти опции, чтобы виртуально выполнять команды с помощью ИИ.
Часто используемые примеры
Узнайте, как эффективно обрабатывать данные, используя `uniq` вместе с `sort`.
Удаление дубликатов строк из всего файла
sort data.txt | uniqСортирует файл `data.txt` с помощью `sort`, а затем удаляет все дублирующиеся строки из файла с помощью `uniq`. Это наиболее распространенный способ использования.
Вывод повторяющихся строк с количеством
sort data.txt | uniq -cУдаляет повторяющиеся строки из файла `data.txt` и выводит каждую строку с количеством ее вхождений.
Вывод только повторяющихся строк из всего файла
sort data.txt | uniq -dВыводит только строки, которые встречаются два или более раз в файле `data.txt`.
Вывод только уникальных строк, встречающихся один раз во всем файле
sort data.txt | uniq -uВыводит только строки, которые не повторяются и встречаются только один раз в файле `data.txt`.
Удаление дубликатов с игнорированием определенных полей
sort log.txt | uniq -f 1Игнорирует информацию о времени (первое поле) в файле журнала и удаляет дубликаты только по оставшемуся содержимому.