Why does a Linux distribution have gcc installed in advance?
A distribuição Linux é bastante vaga. Alguns instalam, a maioria oferece para instalá-lo (possivelmente mesmo se você selecionar os padrões durante a instalação). No entanto, nem todas as distribuições irão instalá-lo e você geralmente tem uma escolha.
Is it because most of the applications in Linux are written in C?
Não. Um compilador C (qualquer compilador C, GCC é apenas um exemplo, poderia ser
What would happen if the gcc directory is deleted?
Supondo que não existam programas instalados que dependam de qualquer parte do GCC (ou de uma parte dele, como o pré-processador), tudo continuará funcionando bem. Você simplesmente não pode compilar nenhum novo programa em C com a versão do GCC que acabou de ser deletada. Se foi o último compilador C (você pode ter múltiplos compiladores instalados), então você precisará usar um pacote binário para reinstalá-lo se você compilar qualquer programa em C posteriormente.
Note que com O que aconteceria se o diretório gcc fosse deletado? Eu presumo que você o deletaria usando o gerenciador de pacotes apropriado. Apenas aleatoriamente excluir diretórios em qualquer sistema operacional não é uma coisa segura a fazer.