Excluir o arquivo "Install Xcode.app" se livraria dele. Porém, você precisará baixar o arquivo inteiro de 3 GB novamente quando houver uma atualização desejada. Se houver outro jeito, gostaria de saber também.
Eu gostaria que a Apple voltasse a colocar os lançamentos do Xcode na Web para download público gratuito. Eles realmente não funcionam muito bem com a App Store, o instalador de 3 GB ocupa uma boa parte de um SSD, e as pessoas interessadas no Xcode não vão se importar de ter que ir a um site para obtê-lo.