Você pode enviar literal escape (e nova linha) com aspas ANSI-C (há mais sobre isso aqui ), por exemplo para enviar escape para 0:0
:
tmux send-keys -t 0:0 $'\e'
Para o seu mapeamento, supondo que eu entendi corretamente, você poderia fazer algo assim:
map <F5> :silent !tmux send-keys -t 0:0 $'\e'"python"$'\n'<CR>
Note que o escape sempre será enviado, então, para contornar a questão do shell que está recebendo o escape, você pode enviar uma nova linha extra:
map <F5> :silent !tmux send-keys -t 0:0 $'\e'$'\n'"python"$'\n'<CR>