As expansões introduzidas pelos sinais $
no heredoc são avaliadas localmente, antes de gerar a string que é passada como entrada para o comando ssh
.
Para evitar isso, escape dos comandos em seu heredoc, por exemplo, com aspas em torno de EOF
ssh ... <<"EOF"