Em geral, o Ubuntu é projetado para ser "amigável" e, em geral, qualquer pacote no Ubuntu tende a ter mais dependências do que outras distribuições. Isso é ótimo para a maioria dos usuários, pois eles instalam um pacote e todos os sinos e assobios são instalados.
Para um melhor controle de grãos, não instale os pacotes extras
sudo apt-get install --no-install-recommends package_list
Se você quiser definir isso como comportamento padrão, consulte Como não instala pacotes recomendados e sugeridos?
A única desvantagem potencial desse comportamento é que você poderá mais tarde identificar os pacotes adicionais que deseja instalar posteriormente. Perfeitamente aceitável para usuários avançados como você.
Se isto ainda instalar mais do que você quer, você pode instalar usando o apt-get com o --nodeps
flag ou baixar o .deb e instalar com o dpkg usando o --ignore-depends
flag. Fazer isso meio que derrota o propósito do apt / apt-get e, neste ponto, você pode querer olhar como Slackware, arch linux ou gentoo. O gentoo leva muito tempo, mas lhe dá um controle muito bom sobre o que está ou não instalado. arch é semelhante sem toda a compilação. O Slackware é fácil e o IMO "simplesmente funciona"