Para a maioria dessas respostas, primeiro é necessário remover o espaço em branco à direita.
A remoção de novas linhas duplicadas remove todas as linhas em branco. (Pense sobre isso).
Literalmente interpretado, o OP quer "todas as linhas em branco removidas de um arquivo, se houver alguma linha em branco repetida".
O usuário típico quer "remover apenas linhas em branco duplicadas".
Para fazer isso, primeiro tire o espaço em branco inicial e canalize os cat -s
sed s/[[:space:]]*$// | cat -s
E, no entanto, isso não removerá uma linha em branco ou uma linha em branco superfluzante.