Uma forma possível é baixar e instalar tudo em um computador on-line (incluindo seu software) e criar o disco rígido e, assim, instalar esse disco rígido em seu computador off-line (lembre-se de que você pode ter problemas com determinados drivers ter desempenho máximo; isso você pode verificar executando uma sessão ao vivo no seu computador offline;))
Outra maneira é instalar tudo o que você precisa em um computador on-line e construir um ISO com remastersys e, assim, gravar um DVD (um CD-R será pequeno) e instalar seu software neste computador off-line.
Para o problema de 32-64 bits; você deve saber o que seu computador off-line tem como especificações; pode ser possível que esta máquina não seja capaz de rodar o Ubuntu (por exemplo, um computador XP mais antigo) mas que você precise rodar e instalar o Xubuntu, então eu diria que você grava com remastersys 2 versões (Xubuntu e Ubuntu) você não terá acesso a esse computador offline.
Espero que isso seja o melhor caminho para você. Uma nota lateral: rodar o Ubuntu sem internet não é um pensamento muito bom; Há atualizações constantes para melhorar o desempenho do Ubuntu.