Que tal usar sort -u ? Isso pode pelo menos classificar pelo primeiro campo:
sort -k 1,1 -u input_file
Como você pode encontrar linhas exclusivas ou linhas duplicadas em um arquivo com base no conteúdo do primeiro campo ou nos primeiros n caracteres?
O comando uniq no OS X não possui a opção -w disponível no Linux: -w, --check-chars=N : compare no more than N characters in lines , que resolve o problema.
Pode ser feito sem reimplementar uniq no awk?
O número de campos não é constante. Eu gostaria de usar apenas ferramentas padrão instaladas no OS X. Eu uso muito o Macports, mas, neste caso, não quero usá-las.