Por padrão, o Windows não pode ler o sistema de arquivos ext4 que o Ubuntu usa de qualquer maneira. Para o Windows, essas partições têm um sistema de arquivos desconhecido e são exibidas como não formatadas. No entanto, observe que embora o Windows não consiga interpretar o sistema de arquivos, ele ainda pode lê-lo como dados brutos (por exemplo, para criar uma imagem de backup completa da partição) e substituir ou excluir a partição inteira, é claro.
No entanto, existem alguns drivers e aplicativos que permitem montar ext4 sistemas de arquivos no Windows também.
Portanto, se tudo o que você deseja é impedir o acesso acidental de usuários ou espionagem pela Microsoft, aplicativos ou malware do Windows, normalmente não é necessário fazer nada. Eu nunca ouvi falar de nenhum malware do Windows que inclua um driver ext4 apenas no caso de alguém ter esses sistemas de arquivos.
Se você for realmente paranóico, terá que considerar a criptografia de suas partições do Ubuntu, seja a instalação completa (somente com exceção de algumas coisas do bootloader inicial) ou apenas o seu diretório pessoal. Isso impede que qualquer usuário ou aplicativo não autorizado leia seus dados preciosos.