Você faz muitas perguntas aqui. Você deveria fazer uma pergunta. No entanto ...
Why most distros' package managers don't allow the same package in multiple versions
Em alguns casos, eles fazem. Por exemplo. O Debian permite que diferentes versões do Python sejam instaladas simultaneamente. Na maioria dos casos eles não, porque exigiria sobrecarga extra, algum nível de dificuldade técnica e geralmente não é necessário ter várias versões de um pacote instaladas simultaneamente. A questão principal é que os nomes dos arquivos irão colidir, uma vez que a maioria dos pacotes não foi projetada para ser instalada simultaneamente em diferentes versões. Portanto, esses arquivos precisam ter caminhos diferentes para cada versão do pacote.
and newest versions without upgrading?
Isso não está claro. Eu suponho que você quer dizer instalar novas versões de pacotes sem atualizar o sistema operacional inteiro. Certamente você pode. O Debian tem backports, e outras distribuições presumivelmente possuem conceitos similares. Ou você pode fazer um backport você mesmo .
Why can't I update the OS from a several releases older version to the newest.
Porque é muito difícil suportar todas essas diferentes opções de atualização. Suportar uma atualização da versão n para a versão n + 1 é bastante difícil.
And also often I encounter old programs that require older versions of libs. Why can't I separately install older libs for such cases?
Claro que você pode. Quem disse que você não pode?