Você pode verificar quais arquivos serão atualizados com --simulate ou -s .
sudo apt-get -s upgrade
Quando souber quais pacotes serão atualizados e as ações serão executadas, você poderá fazer sudo apt-get upgrade package para atualizar apenas esse pacote.