Você pode usar um endereço /regexp/ para encontrar a linha que contém [DEFAULT] e, em seguida, um comando de acréscimo ( a ) para adicionar linhas abaixo dela. Passe -i para sed para modificá-lo no local (talvez você queira executar sem primeiro para ter certeza de que está fazendo a coisa certa; ele exibirá como o arquivo alterado ficará sem alterá-lo) :
# sed -i '/^\[DEFAULT\]$/a rabbit_host =controller\nrabbit_password =RABBIT_PASS' /etc/heat/heat.conf