Ele trava porque não recebe nenhuma entrada. Tente fazer apenas a cabeça -n 1.
Isto irá garantir que a tubulação para a cabeça irá ocorrer no pseudo-tty
ssh -q $HOSTNAME -t "ls -t -1 /path/to/somewhere/ | head -n 1"
Eu tenho que admitir que no Debian Squeeze e no Ubuntu server 10.4 eu não consegui reproduzir isso.
Cuidado para dar mais informações como sem o "-q", distro, etc.