Sua exigência 1 diz:
I want it to be really small by
default, so I can customize the hell
out of it.
Então, você NÃO quer que o seu gerenciador de pacotes seja tão avançado. De qualquer forma AFAIK, portage é melhor para a coisa "personalização", mas talvez você queira leia mais sobre isso porque nunca usei.
O APT é muito legal, e eu sou usuário debian, mas não sei o quanto simples você quer o seu sistema.
Pacman é muito bom, e eu usei Arch por um ano. A simplicidade e a personalização do sistema do Arch são bonitas e sua sensação de BSD é realmente diferente. A única coisa sobre o pacman é que ele não é tão intuitivo quanto o APT, mas como solução alternativa, você tem esse Pacman Rosetta .
BTW: Talvez você queira um sistema Linux, mas se não se importar, você pode experimentar o FreeBSD, será bom para você.
Felicidades