Isso ocorre porque o Windows espera que o clock do hardware seja localtime, e o Ubuntu espera que seja o UTC.
Normalmente, é melhor configurar as janelas para usar também o UTC.
Verifique aqui
No Windows, crie um arquivo chamado utc.reg
com o seguinte conteúdo:
Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\TimeZoneInformation]
"RealTimeIsUniversal"=dword:00000001
Clique duas vezes e reinicie.