Sim, você pode verificar se tem dependências fazendo simular no apt:
apt-get -s remove package
Se não houver outros pacotes para remover, é seguro. Se você deseja excluir os arquivos de configuração do pacote, certifique-se de usar também o sinalizador --purge.
apt-get remove --purge portmap