Com bash 4.2 e acima (ou ksh , mksh , pdksh , lksh , zsh ), você pode usar ANSI C Quoting :
echo $'\U2191'
ou definindo localidade com caracteres unicode:
LC_ALL=C.UTF-8 printf '\U2191\n'
ou você pode usar perl :
perl -CS -le 'print "\x{2191}"'