O Windows não pode montar o sistema de arquivos EXT do Ubuntu por padrão, então o que você vê é perfeitamente normal. Os utilitários do Windows podem ver a partição, mas não podem interpretar os arquivos dentro dela.
Geralmente, se as pessoas quiserem compartilhar arquivos entre o Windows e o Linux colocados no mesmo disco, eles criam uma terceira partição "neutra" em um formato compatível: geralmente FAT. Dessa forma, tanto o Linux quanto o Windows podem ler a partir do espaço compartilhado.