Aperçu de la commande uniq
`uniq` est l'abréviation de 'unique' et a pour fonction de trouver et de traiter les lignes en double dans un fichier. Il est important de noter que `uniq` ne traite que les **lignes consécutives en double**. Par conséquent, pour supprimer les doublons d'un fichier entier, vous devez d'abord trier les données à l'aide de la commande `sort`.
Fonctionnement de uniq
La commande uniq lit les lignes d'entrée une par une et les compare à la ligne précédente. Si les deux lignes sont identiques, elles sont considérées comme des doublons ; sinon, la ligne est considérée comme unique. C'est pourquoi le tri du fichier avec la commande `sort` est une étape préalable indispensable pour supprimer les doublons de l'ensemble du fichier.
Options principales
Utilisez les diverses options de la commande `uniq` pour effectuer des tâches précises telles que la suppression des doublons, le comptage et l'affichage de lignes spécifiques.
1. Fonctionnalités de base
2. Contrôle de la méthode de comparaison
Commande générée :
Essayez de combiner les commandes.
Description:
`uniq` Exécute la commande.
Essayez d'exécuter virtuellement les commandes avec l'IA en combinant les options ci-dessus.
Exemples couramment utilisés
Apprenez à traiter efficacement les données en utilisant `uniq` et `sort` ensemble.
Supprimer les lignes en double de l'ensemble du fichier
sort data.txt | uniqTrie le fichier `data.txt` avec `sort`, puis supprime les lignes en double de l'ensemble du fichier avec `uniq`. Cette combinaison est l'utilisation la plus courante.
Afficher les lignes en double et leur nombre
sort data.txt | uniq -cSupprime les lignes en double du fichier `data.txt` et affiche chaque ligne avec le nombre de fois où elle est apparue.
Afficher uniquement les lignes en double de l'ensemble du fichier
sort data.txt | uniq -dAffiche uniquement les lignes qui sont apparues plus de deux fois dans le fichier `data.txt`.
Afficher uniquement les lignes uniques qui n'apparaissent qu'une seule fois dans l'ensemble du fichier
sort data.txt | uniq -uAffiche uniquement les lignes qui sont apparues une seule fois et ne sont pas dupliquées dans le fichier `data.txt`.
Supprimer les doublons en ignorant un champ spécifique
sort log.txt | uniq -f 1Supprime les doublons d'un fichier journal en ignorant les informations de temps (le premier champ) et en ne considérant que le reste du contenu.