Não conheço nenhuma distro existente, mas isso deve ser bastante simples de construir com o Debian usando a pré-configuração .
Você acabou de criar seu próprio pacote que depende basicamente dos pacotes para sua solução de benchmarking. Esse pacote vem com um script /etc/init.d/ que inicia o benchmarking na inicialização, armazena os resultados sempre que você precisar deles e desliga o sistema posteriormente.
Com a pré-configuração, você pode automatizar o instalador debian para apenas pegar o sistema, colocar o debian, instalar seu pacote personalizado, reinicializar, executar os testes e desligar o sistema.