Se você formatar a unidade para usar um sistema de arquivos NTFS ou FAT, ambos os sistemas operacionais poderão usá-la (escolha NTFS para unidades externas modernas).
Se você o formatou pela primeira vez no Ubuntu, provavelmente é um formato EXT, que o Windows não consegue ler. Nesse caso, copie os dados da unidade usando o Ubuntu, formate para NTFS e, em seguida, coloque os dados novamente.