Atualizei o BIOS conforme sugerido no site de suporte da Dell. (você só pode fazer isso no Windows).
Desligar aleatoriamente foi listado como um problema comum. E atualizar o BIOS foi a solução sugerida.
Meu fã agora funciona tanto no Windows quanto no Ubuntu. E assim posso dizer com alegria que isso não é um problema do Ubuntu.