Строки без повторений с помощью bash

$ <что-то, выводящее в stdout> | sort | uniq

Uniq похоже помнит только предыдущую строку, поэтому повторений вразнобой он не замечает. Перед ним нужно сортировать.

UPD
Как подсказали в комментариях, sort -u делает то же самое.