Não, você não precisa alterar a unidade de alocação de tamanho padrão, mas precisa formatá-lo como NTFS, já que o FAT32 não suporta arquivos com mais de 4 GB.
Quanto ao tamanho real da unidade de alocação, se você copiar um pequeno número de arquivos muito grandes (isto é, filmes), será útil ser grande (64kB) e se você desejar copiar um grande número de arquivos pequenos (ou seja, docs, fotos) ajuda a ser pequeno (4kB).