Aqui, documente por padrão assuntos para expansões de shell, precisamente expansão de parâmetros, substituição de comando e expansão aritmética. Assim, a expansão variável (parâmetro) está acontecendo no seu caso - a variável LOGFILE
está sendo expandida no shell atual, e como a variável presumivelmente não existe, portanto, null está sendo retornado (e substituído) como o valor expandido.
Para obter os metacaracteres do shell literalmente em um doc aqui, use aspas ao redor da string terminadora:
cat pippo <<'EOF' ## "EOF" would do too
LOGFILE=test.log
echo '#############################' >>"$LOGFILE"
EOF
Também cite a expansão da variável como (presumivelmente) se refere a um nome de arquivo, de modo que a divisão de palavras e a expansão do nome de caminho não sejam feitas após a expansão.