Pacotes que são instalados porque são dependências são normalmente marcados como automáticos; você pode ver isso com
apt-mark showauto xterm
Se isso gerar xterm , o pacote foi instalado automaticamente; caso contrário, foi instalado manualmente.
Você pode usar aptitude para ver quais dependências mantêm um pacote instalado:
aptitude why xterm
aptitude why também explicitamente informará se um pacote foi instalado manualmente.