As expansões introduzidas pelos sinais $ no heredoc são avaliadas localmente, antes de gerar a string que é passada como entrada para o comando ssh .
Para evitar isso, escape dos comandos em seu heredoc, por exemplo, com aspas em torno de EOF
ssh ... <<"EOF"