Ir para HFS +
Se, como você diz, você não está preocupado em deixar o VirtualBox (ou um PC real) montar essa unidade, não há absolutamente nenhuma razão para usar outros sistemas de arquivos.
Os arquivos do VirtualBox são arquivos simples do Mac OS, e o HFS + é o sistema de arquivos OsX "normal" / "nativo", funciona bem, é registrado em diário (= menos congestionamentos / travamentos) e não possui limites rígidos de tamanho de arquivo. Macs se sentem mais "confortáveis" com isso.
O motivo pelo qual você pode considerar o FAT32 (manter todos os arquivos abaixo de 4 GB) é se você deseja inicializar as mesmas imagens da VM também em um computador com Windows (e no Mac também).
Além disso, usar FAT32 e HFS no mesmo disco não é a solução ideal. Para que os PCs com Windows vejam a partição FAT32, toda a tabela de partição deve ser do tipo DOS / Win (Master Boot Record), assim você tem um HD com uma tabela de partições DOS com uma partição Mac HFS dentro. Isso é ok, mas tem algumas limitações, como a inicialização (não é possível usá-lo para inicializar o Mac). Usar uma tabela de partição "GUID" (Macs moderna) é bom para partições Mac, mas sua partição FAT32 não será vista por nenhum PC, tornando-a inútil.
Então, vá para o HFS +, para todo o disco. Mantenha um pen drive de 4GB com o FAT32 para mover arquivos.