As diferenças serão realmente mínimas. Você já pensou em usar o Arch linux? é simples, leve e rápido, mesmo quando se usa um ambiente de desktop gráfico.
Qual sistema operacional alcançaria o melhor desempenho no x86 a partir do Qemu ou Virtualbox?
Eu só preciso usar um punhado de programas regularmente: tmux, vi (m), curl, um gerenciador de pacotes (principalmente para instalar bibliotecas), gcc / clang, git, etc.
Não preciso de X ou de um ambiente gráfico, embora prefira um minimalista, desde que o desempenho não seja sacrificado, principalmente porque os emuladores de terminal (esp. mrxvt) são mais rápidos que os terminais virtuais.
Eu estou inclinado para o Gentoo, NetBSD, OpenBSD, DragonflyBSD e FreeBSD agora (nessa ordem).
Eu não acho que você veria muita diferença entre eles, então escolha o que é mais conveniente para você.
Irrelevante. A sério... ... desde que você mantenha tudo para a virtualização de hardware no mesmo nível técnico (ou seja, use todos os mesmos recursos), as diferenças devem estar no intervalo de 1% a 3%. Você será muito mais limitado pela sua escolha de hardware (subsistema de disco de IO, por exemplo).