apt-get install <pkg>
primeiro faz o download do pacote debian binário para /var/cache/apt/archives/
e, em seguida, o instala. Então você poderia teoricamente copiar os debian pkgs binários de lá e instalá-los manualmente em outro lugar. No entanto, se o pacote depender de outros pacotes, você também precisará executar etapas para instalá-los.
Você pode não querer fazer isso porque você sempre será capaz de instalar os últimos pacotes binários debian dos arquivos online usuais (como, por exemplo, archive.ubuntu.com), e eles estarão sempre mais atualizados em relação à segurança correções, aprimoramentos de recursos e etc.
Os arquivos do Ubuntu estão aqui: link
Existem outros arquivos online que hospedam pacotes debian instaláveis.