Claro que é possível. Seu maior problema provavelmente será receber o pacote para instalar onde você quer. Uma vez no usb, você deve 1) garantir que a montagem do usb NÃO tenha a opção "noexe", 2) ajustar sua variável de ambiente PATH para incluir o diretório usb que contém o executável e 3) Adicionar quaisquer variáveis de ambiente necessárias como LD_LIBRARY_PATH para permitir que o vinculador capte as bibliotecas necessárias.