Acho que sua melhor aposta ainda está sendo compilada a partir da fonte. Pode ser doloroso, mas pelo menos você sabe que vai (ou pelo menos deveria) funcionar.
Você também pode usar dpkg
como mencionado por grawity ou dpkg -x
para extrair o conteúdo de seus pacotes, mas isso provavelmente depende do que você está tentando instalar dessa maneira. Algumas coisas podem funcionar fora da caixa, outras não.
Você também pode olhar para um pergunta semelhante em askubuntu para referência futura.
Ajudaria se você mencionasse quais pacotes em particular deseja em seu ambiente. Eu suponho que se você mencionar uma competição de programação, então você precisa de ferramentas de desenvolvimento. Normalmente eles são bastante portáteis, então isso deve ser factível.