Hm, esse $'\xff'
é realmente um recurso de Bash e deve ser agnóstico do SO. Isso funciona aqui no FreeBSD 9.1 (tentei bash, ksh, zsh):
$ head -3 foo 26436�22977 4478�3214 28822�4147 $ head -3 foo | sort -n -t $'\xff' -k2 4478�3214 28822�4147 26436�22977
OK, se isso não funcionar, talvez funcione com (BSD-) awk:
$ head -3 a | awk -F $'\xff' '{print $1" "$2}' | sort -nk2 | awk '{print $1"\xff"$2}' 4478�3214 28822�4147 26436�22977
Sim, é feio: - \