Sim, você pode, na verdade, estou fazendo isso também.
Do Ubuntu, isso é fácil, já que funciona de imediato, você só precisa montar o disco e pronto.
No Windows, é um pouco mais complicado, pois o Windows não pode ler unidades EXT2 / 3/4 por padrão. No entanto, você pode instalar EXT2FSD , que fornece uma solução para esse problema. Ele fornece suporte para leitura e gravação também, mas apenas seja seguro, eu recomendo usá-lo somente para leitura.