Não. Tudo o que você excluir apenas não estará mais disponível para acesso nessa sessão. Qualquer coisa que você instalar vai para sua memória RAM. Você deve estar perfeitamente bem.
Eu uso um USB ao vivo com o Ubuntu 14.04 e persistência para inicializar vários computadores, mas fiquei me perguntando se instalar o Chrome, remover o Firefox, etc. afetaria a instalação no HDD se eu usá-lo.
Não. Tudo o que você excluir apenas não estará mais disponível para acesso nessa sessão. Qualquer coisa que você instalar vai para sua memória RAM. Você deve estar perfeitamente bem.
O gerenciador de pacotes do seu sistema Ubuntu não afetará o disco rígido do computador em que ele roda.
¹ A menos que você passe por aros adicionais, mas saberia se o fizesse.