Se os pacotes não entrarem em conflito com pacotes novos / atualizados no trecho, não há motivo específico para removê-los.
Se eles entrarem em conflito, o gerenciador de pacotes informará você.
BTW, eu ainda tenho alguns pacotes instalados no meu sistema que não estão no debian há uma década ou duas. Eles ainda funcionam. Eu tive outros que tive que recompilar para versões mais recentes do Debian, e mais alguns que eu parei de usar porque eles não valiam a pena de recompilar (ou, mais comumente, hacking para que eles compilassem contra as versões mais novas de várias bibliotecas).
Ainda tenho versões antigas do libdb instaladas:
$ dpkg -l libdb[0-9.]* | grep ii
ii libdb4.6 4.6.21-21 amd64 Berkeley v4.6 Database Libraries [runtime]
ii libdb4.6++ 4.6.21-18 amd64 Berkeley v4.6 Database Libraries for C++ [runtime]
ii libdb5.1:amd64 5.1.29-7 amd64 Berkeley v5.1 Database Libraries [runtime]
ii libdb5.1:i386 5.1.29-7 i386 Berkeley v5.1 Database Libraries [runtime]
ii libdb5.3:amd64 5.3.28-13.1+b1 amd64 Berkeley v5.3 Database Libraries [runtime]
ii libdb5.3:i386 5.3.28-13.1+b1 i386 Berkeley v5.3 Database Libraries [runtime]
ii libdb5.3-dev 5.3.28-13.1+b1 amd64 Berkeley v5.3 Database Libraries [development]
ii libdb5.3-sql:amd64 5.3.28-13.1+b1 amd64 Berkeley v5.3 Database Libraries [SQL runtime]
libdb4.6 não está no Debian desde "Squeeze" (Debian 6), por volta de 2014.
Eu os limpo ocasionalmente quando não tenho nada instalado que use as libs antigas ... se / quando eu me lembrar.