Prática recomendada:
use apt-get ou aptitude ou o Ubuntu Software Center.
Existe alguma diferença?
Sim
A instalação / desinstalação atual é sempre feita pelo dpkg. Apt e outros utilitários pedem ao dpkg para fazer seu trabalho.
O dpkg não pode manipular dependências automaticamente. Você quer descobrir dependências, buscar todos os pacotes e entregá-los ao dpkg de uma só vez, ou lidar com a confusão de dependências não atendidas. O Apt lida com isso, e é isso que acredito ser seu uso primário. Apt também traz algumas coisas extravagantes. Veja seus arquivos conf para os detalhes completos.
Com exceção do tratamento de dependência, os comandos de remoção são equivalentes. A única diferença é que o apt se recusa a remover um pacote do qual os outros dependem, sem removê-los, e pode ser configurado para remover automaticamente os pacotes que ninguém mais precisa como dependência.