Eu estou querendo saber o que está causando essa diferença.
Isso depende principalmente de qual software você roda no Windows e no Ubuntu.
Em geral, o Ubuntu tem menos software ativo e o Windows tende a pré-carregar muitos softwares durante a inicialização para acelerar as coisas quando a área de trabalho está ativa. Ambos podem aumentar para temperaturas mais baixas / mais altas.
Você pode me ajudar a encontrar uma resposta?
Claro, mas você precisará fazer todo o trabalho. Faça o download do software do Ubuntu e do Windows que pode verificar a carga do seu sistema. Para o Ubuntu você já tem top e htop mas o powertop é uma boa ferramenta para isso.
Tome nota também do seu fã: se o Windows o desligar ocasionalmente e o Ubuntu o tiver a toda velocidade o tempo todo, isso fará a diferença. E você também deve olhar para a bateria ao descarregar. Se a duração da sua bateria no Windows for melhor do que no Ubuntu, você pode trocar o "Ubuntu é mais legal que o Windows" por um "Ubuntu não dura tanto quanto o Windows", onde a duração da bateria é esgotada devido a ventiladores hiperativos.
(40-50 é legal. Muito legal mesmo. Mas uma temperatura de 58 também não é ruim).