首頁 > 文字處理與搜尋 > uniq

uniq 命令指南:移除並確認重複行

`uniq` 命令用於從文字檔案或透過管道傳輸的資料中移除連續重複的行,或計算重複行的數量。它與 `sort` 命令一起使用時能發揮最大效用,是資料整理和分析工作中不可或缺的工具。

uniq 命令概述

`uniq` 是 'unique'(獨特的)的縮寫,用於在檔案中尋找和處理重複行。這裡的關鍵點是 `uniq` 只處理**連續重複的行**。因此,若要移除檔案中的所有重複項,必須先使用 `sort` 命令對資料進行排序。

uniq 的運作方式

uniq 命令會逐行讀取輸入,並與前一行進行比較。如果兩行相同,則視為重複;如果不同,則視為新的唯一行。由於這個過程,若要移除檔案中的所有重複項,務必先使用 `sort` 命令對檔案進行排序。

主要選項

利用 `uniq` 命令的各種選項,可以執行精細的操作,例如移除重複項、計數、輸出特定行等。

1. 基本功能

2. 比較方式控制

生成的命令:

請試著組合命令。

這個 Django 應用程序是一個技術指南文檔,旨在為用戶輕鬆解釋 Linux 的各種命令。

`uniq` 執行命令。

請將上述選項組合在一起,與 AI 一同虛擬執行命令。

常用範例

學習如何結合使用 uniq 和 `sort` 來有效處理資料。

移除檔案中的所有重複行

sort data.txt | uniq

使用 `sort` 對 `data.txt` 檔案進行排序,然後使用 `uniq` 移除檔案中的所有重複行。此組合是最常見的用法。

輸出重複的行及次數

sort data.txt | uniq -c

移除 `data.txt` 檔案中的重複行,並輸出每行出現的次數。

只輸出檔案中的重複行

sort data.txt | uniq -d

只輸出在 `data.txt` 檔案中出現兩次或更多次的行。

只輸出檔案中只出現一次的唯一行

sort data.txt | uniq -u

只輸出在 `data.txt` 檔案中未重複且只出現一次的行。

忽略特定欄位並移除重複項

sort log.txt | uniq -f 1

忽略日誌檔案中的時間資訊(第一個欄位),只根據其餘內容移除重複項。


相關命令

功能上相似或經常一起使用的命令。


相同類別命令