Por delete você quis dizer no navegador de arquivos da GUI ou rm -rf no console? Se é o primeiro que todos esses arquivos estão na lixeira e você precisa esvaziá-lo para recuperar o espaço. A construção é autocontida, se você realmente eliminou a árvore git / build, então tudo o que está associado à construção desapareceu.
Este é o procedimento que eu uso para construir kernels:
A maioria dos usuários geralmente não tem um bom motivo para construir seu próprio kernel, a menos que você goste de um tweak que, nesse caso, tem uma explosão: -).