Sim. Você pode remover o PPA após a instalação.
No entanto, você não receberá mais atualizações para o software.
Os PPAs são "repositórios de software". Você obtém software deles. O software não precisa disso.
Pense no seu programa como uma garrafa de leite. O PPA é a loja. Quando você compra o leite, o leite (nem você) não precisa mais da loja. Você pode (se quiser) nunca mais ir àquela loja. No entanto, se a loja rechamar o leite, você pode voltar e comprar leite novo.