Você pode alternar para o Gentoo e usar o sinalizador de uso do bindist globalmente. Isto irá baixar arquivos binários quando disponíveis para evitar a compilação de tudo. Então você pode remover a bandeira de pacotes individuais que você gostaria de otimizar.