Não, você não pode.
O gerenciamento de pacotes Debian / Ubuntu (APT) não tem controle sobre suas bibliotecas instaladas específicas do usuário. Isso é intencional. Intencional porque? Isso quebraria a segurança em um determinado aspecto - os usuários locais teriam a capacidade de 'possuir' as bibliotecas do sistema.
Caso você precise de versões específicas de bibliotecas Python, recomendo usar pip
para gerenciá-las em seu local ( home) diretórios. Considere também a construção de seus próprios pacotes .deb
caso você queira distribuí-los caso outras coisas não quebrem quando estiver sendo instalado em todo o sistema.