O Ubuntu assume que o seu tempo de hardware (tempo de bios) é no horário UTC. Quando você fornece o fuso horário (durante a instalação), a hora do sistema é alterada de acordo com o fuso horário.
Você provavelmente tem a hora local (GMT + 5 eu acho) definida no BIOS.
Este é um problema comum quando você tem configuração de inicialização múltipla com um sistema assumindo que o BIOS está no horário UTC (Linux) e outro assume que o BIOS está no horário local (Windows).