Não existe o último pacote da libopenmpi-dbg para ser preciso (12.04), então se você realmente requer o libopenmpi-dbg, o Debian fornece este pacote.
Provavelmente instalar o pacote Debian funcionará.
Tenha muito cuidado com isso.
Quando eu instalo pacotes Debian em sistemas Ubuntu, eu só faço o download do arquivo .deb que eu exijo, ao invés de configurar um repositório Debian, pois algumas vezes a configuração de repositórios Debian causa problemas com pacotes Debian + Debian.
Melhor apenas baixar os arquivos .deb exatos de que você precisa, para que você possa desinstalá-los facilmente.