O truque é encontrar um tipo de sistema de arquivos que será bem suportado por todos os diferentes sistemas operacionais que você deseja executar. As opções são ruins: o Linux suporta muito bem o ext2 / ext3, mas o MacOS X suporta-os apenas no espaço do usuário (pior desempenho) e o MS Windows pode ou não suportá-los. O NTFS é bem suportado pelo MS Windows mas, embora o ntfs-3g possa montá-lo no Linux ou no MacOS X (apenas no espaço do usuário), ele é um sistema de arquivos não documentado proprietário, portanto não há garantias. O HFS +, certamente o melhor sistema de arquivos para usar em um ambiente apenas com MacOS, certamente também não é um bom começo.
Você é deixado com um mínimo denominador comum baixo: FAT. E você não quer realmente colocar todos os seus arquivos importantes em um sistema de arquivos FAT.
Então, você provavelmente está melhor com grandes sistemas de arquivos em cada sistema operacional de um tipo apropriado para aquele SO, e um pequeno sistema de arquivos FAT compartilhado em uma partição separada.