Se você não guarda o arquivo deb, significa que se você quiser reinstalar o pacote no futuro (por exemplo, porque você o desinstalou por acidente) você terá que repetir todo o processo, ou seja, compilar a partir do código-fonte. e crie o pacote. Você deve decidir se economizar espaço é mais importante para você do que economizar tempo no futuro.
A árvore de origem é necessária apenas para construir o pacote. Uma vez que o pacote tenha sido construído, ele pode ser excluído com segurança, mas mantê-lo novamente pode economizar tempo caso você queira reconstruir o pacote.