O que você está denunciando é muito estranho. Eu quase sempre uso as mesmas pastas de "downloads" e "documentos" do Windows e do Ubuntu, e nunca experimentei lentidão de nenhum dos sistemas operacionais. Eu mantive ambos os diretórios em um disco rígido externo formatado como NTFS.
Além disso, usei o Ubuntu VMs de dentro do Windows no passado, e ainda uso uma VM do Windows dentro do Ubuntu, com pastas compartilhadas em todos eles, mas nunca tive nenhuma discrepância nos tempos de acesso.
Por que você se deparou com um problema como esse antes está além de mim, mas como "Centaurus A" sugerido, tente copiar alguns arquivos no começo e, se parecer OK, você sabe que está seguro. Se não, então você pode querer perguntar um pouco mais sobre por que a lentidão acontece em primeiro lugar e como ela pode ser evitada, já que isso não deveria acontecer.