O NTFS é, em geral, um sistema de arquivos mais robusto, mas o principal obstáculo com o FAT32 é o limite de tamanho de arquivo de 4GB - você não pode ter um único arquivo maior que 4GB, o que elimina certas coisas como imagens de DVD ou filmes em HD, etc.
Além disso, o NTFS é um FS com registro em diário e geralmente mais resistente à corrupção e à fragmentação. (Há toda uma série de recursos adicionais que o NTFS adiciona, desde hard links até melhores controles de acesso, mas nem sempre são relevantes para o seu tipo de uso.)
Olink tem informações um pouco mais detalhadas.
A maior parte disso não é importante se você for cuidadoso e manter seus dados armazenados em backup; Eu uso o FAT32 em pelo menos um disco rígido externo e não tive nenhum problema além do tamanho do arquivo, mas também não o uso para armazenamento a longo prazo de qualquer coisa.