O problema é que o shell executa redirecionamentos antes do comando ser executado.
Neste caso. a menos que as permissões do arquivo no qual os dados serão adicionados permitam o acréscimo, um resultado de erro permissão negada .
Você pode contornar isso fazendo:
sudo sh -c 'cat config/add-this.yml >> ~/docker-compose.yml'