Faz algum sentido que o FAT32 possa ser um pouco mais rápido do que o NTFS, já que ele não possui a sobrecarga de registro no diário e outros recursos avançados que o NTFS oferece. Consulte aqui , aqui e aqui para algumas referências com a mesma probabilidade de serem verificadas ou boatos. O primeiro sugere que o volume e os tamanhos dos clusters determinarão o que é mais rápido para você.
Colocar o arquivo de paginação em um disco separado vai lhe render muito mais desempenho do que as particularidades do sistema de arquivos. O mais provável é que não seja suficiente perder o sono.