Usando alguns comandos strace , descobrimos que /etc/inputrc estava sendo carregado após meu ~/.bashrc e o que continha uma set editing-mode vi que cancelou meu set -o emacs . O /etc/inputrc não existe na minha máquina local, portanto, por que o problema não ocorreu no host local.
Esse strace também identificou que ~/.inputrc é procurado antes de /etc/inputrc ser carregado como fallback.
Então, fizemos touch ~/.inputrc para criar um inputrc vazio e voila, set -o emacs agora funciona no login SSH:)