Eu fiz uma solução via .bash_profile:
if [[ -n "$SSH_CLIENT" && -n "$TMUX" ]] ; then
tmux unbind c-b
tmux set -g prefix c-a
tmux bind c-a send-prefix
fi
Ele garante que o prefixo c-a
seja definido apenas se o shell estiver sendo executado em uma janela remota do tmux. Parece funcionar bem, mas ainda assim seria mais limpo se pudesse ser expresso em tmux.conf.