No documento here, como você o escreveu, o shell fará expansão de parâmetro ( $PWD
será expandido para o caminho do diretório atual no momento da análise do script , por exemplo), substituição de comando (os "backticks" serão executados e tudo o que o comando produzir será inserido em seu lugar, no momento da análise do aqui-documento) e expansão aritmética (nada disso no seu caso).
Se você não quiser isso, ou seja, você quer que o conteúdo do documento seja entregue como está, você pode fazer isso:
tee -a "$HOME/.bashrc" <<'EOF'
# contents of here-document here
EOF
Os apóstrofos em torno do EOF
na primeira linha impedem que o shell expanda qualquer coisa no próprio documento here.