Você também precisa habilitar histexpand , que permite que os carimbos de data e hora sejam interpretados corretamente, pois eles são prefixados com o caractere de comentário de histórico:
$ ssh HOST 'HISTFILE=/tmp/bash_history;HISTTIMEFORMAT=" %F %T ";set -o histexpand -o history; history'
1 1971-06-12 01:37:36 pwd
2 1971-06-13 11:15:56 ls
3 1971-06-13 07:56:05 who
Veja a descrição de HISTTIMEFORMAT e set -H na página bash(1) para mais detalhes.
Note que o pedido parece ser importante. Veja o que acontece com history antes de histexpand :
$ ssh pocampo 'HISTFILE=/tmp/bash_history; HISTTIMEFORMAT=" %F %T ";set -o history -o histexpand; history'
1 ??#45556656
2 ??pwd
3 ??#45677756
4 ??ls
5 ??#45665765
6 ??who