Você não pode. Você terá que cruzar manualmente as bibliotecas e armazená-las em um local não padrão (para que elas não substituam as de 32 bits).
Provavelmente seria mais fácil apenas instalar um sistema de 64 bits e criá-lo nativamente, ou fazer um pacote debian e carregá-lo no seu PPA no launchpad e deixar que ele se preocupe em compilá-lo em cada uma das arquiteturas.
Veja link para mais informações sobre empacotamento e outras questões de desenvolvimento.