Se você tiver certeza de que nunca precisará de nada além de arquivos de 4 GB (eles sempre podem ser divididos), o FAT32 provavelmente é o que funciona melhor entre todos os sistemas operacionais. Tenha em mente que uma imagem ISO de DVD pode facilmente passar de 4 GB, então pense muito sobre isso.
Pessoalmente, eu usaria o NTFS. As distribuições Linux modernas não têm problemas com partições NTFS e não há limitações de sistema de arquivos nas quais você irá se deparar. Usar algo como EXT2 / 3/4 no Windows será problemático. Existem programas que lerão e escreverão esses tipos de partições, mas é mais fácil se você puder montar a unidade como uma unidade real. Especialmente se você quiser ter a opção de conectá-lo na máquina de um amigo para copiar alguns arquivos.