重なりを消す、数える（`uniq`）

直し方は決まっているよ。先に並べて、同じものを隣に集めるんだ。

sort kudamono.txt | uniq

sort が banana・mikan・mikan・ringo・ringo・ringo の順にしてくれるので、そこから uniq が隣の重なりを消せるようになる。

sort | uniq はセットとして覚えてしまおう。uniq を単独で使う場面はほとんど無いよ。

uniq のいちばんの値打ちがこれだよ。-c（count）を付けると、それぞれいくつあったかが出るんだ。

~ $ sort kudamono.txt | uniq -c      1 banana      2 mikan      3 ringo

sort -u では消すだけで数は出ない。数えられるのは uniq だけだよ。

これと sort -rn を組み合わせた3段が、集計の定番だったね。ログを読む仕事のほとんどはこの形で片が付くよ。

uniq には逆向きの2つの旗があるよ。

• -d（duplicate）… 2回以上あったものだけ出す
• -u（unique）… 1回だけだったものだけ出す

sort kudamono.txt | uniq -d   # mikan と ringosort kudamono.txt | uniq -u   # banana だけ

使いどころがちゃんとあるよ。-d は「重複を見つける」（同じメールアドレスが2回登録されていないか）、-u は「1回しか出ていない珍しいものを探す」（たまにしか出ないエラー）だね。

前のレッスンで sort -u も重なりを消せると言ったよね。どちらを使えばいいんだろう。

消すだけなら sort -u が短い。それ以外は uniq だよ。

-i を付けると大文字小文字を区別しないよ。Ringo と ringo を同じものとして数えたいときに使うんだ。

ファイルは3つだよ。

• kudamono.txt … 果物6行（ringo×3・mikan×2・banana×1）
• access.log … 住所（IP アドレス）6行（192.168.0.1×3・10.0.0.5×2・192.168.0.2×1）
• oomoji.txt … Ringo・ringo・mikan

access.log は本物のログを小さくしたものだと思ってね。「どの住所からいちばん来ているか」を数えるのは、Web サーバーを見る人が毎日やっている仕事だよ。