Depende do que foi atualizado.
Se for simplesmente um aplicativo, tudo o que você precisa fazer é reiniciar o aplicativo (se estiver em execução).
Se é o kernel, então sim.
Se é uma biblioteca, então é a sua chamada para saber se a biblioteca está em uso e se seria mais fácil reiniciar o que está sendo usado (um daemon, por exemplo) ou reiniciar o computador inteiro.
Um dist-upgrade
consiste muitas vezes em muitas atualizações - você precisará lê-las e decidir o que fazer. Se apenas um for considerado importante o suficiente para justificar uma reinicialização, deixe o resto e reinicie!
Feodra e outras distros baseadas no Gnome estão se movendo para um sistema Offline System Updates onde uma GUI aparece e diz algo sobre o fato de que as Atualizações estão prontas para o seu computador - você deseja reinicialize e instale para muitas / mais atualizações. Lembra você de um outro sistema operacional, não é mesmo? Tem havido bastante debate sobre o mérito de reinicializar sempre (ou frequentemente) e deixá-lo para o usuário / admin.