O FAT32 é algo que você pode ter certeza de trabalhar em praticamente qualquer lugar.
Eu luto com o limite de tamanho de arquivo, que pelos padrões de hoje não é tão grande assim. Como o exFAT ainda não está disponível no Linux, eu estava procurando alternativas e é realmente difícil encontrar algo adequado.
O UDF já foi criado para ser um sistema de arquivos cross-platform e cross media, mas meio que foi esquecido. Há uma opção para formatar UDF para discos rígidos, o que é bastante adequado para unidades removíveis, mas pelo que eu experimentei, suporte no Windows é mínimo, se em tudo. Não sei se o Windows 7 oferece suporte a unidades UDF que não sejam discos Blu-Ray.
Eu decidi usar o NTFS para minhas unidades externas, que precisam ser conectadas a computadores Windows, bem como a computadores Linux. Para minhas unidades removíveis, que são principalmente, se não usadas apenas em computadores Linux, eu uso o XFS.
O mesmo problema se aplica à criptografia: eu uso o LUKS no Linux, que tem algum suporte no Windows. O TrueCrypt não pode ser integrado aos sistemas Linux muito bem, comparado ao LUKS, então eu decidi sobre isso.