De man apt-get :
autoremove
autoremove is used to remove packages that were automatically installed to satisfy dependencies for other packages
and are now no longer needed.
Portanto, não se preocupe, é seguro remover pacotes automaticamente seguindo o comando:
sudo apt-get autoremove