Você pode instalar um driver de sistema de arquivos do Windows para ler sistemas de arquivos Ext2 / 3/4: Ext2Fsd . Essa mensagem que você está vendo é porque o Windows não reconhece esses sistemas de arquivos e oferece a possibilidade de reformatá-los usando um sistema de arquivos nativo do Windows (NTFS / FAT32).
Veja o Driver do sistema de arquivos Ext2 para Windows (sourceforge.net) e Ext2Fsd Project para mais informações sobre como instalá-lo. Enquanto o nome sugere que é apenas para Ext2, também funciona para 3 e 4.
No entanto, para compartilhar arquivos entre os dois sistemas operacionais em uma configuração de inicialização dupla, eu preferiria usar o NTFS ou o FAT32 nessa partição. Mas, então, não será possível usar essa partição para o arquivo de sistema do Ubuntu (unidade de inicialização) ou o diretório inicial, pois os recursos de permissão não estão disponíveis.