Não pense que você conseguirá adicionar botões na tela de login, então aqui está minha resposta.
Se você seguir a resposta aqui:
Como posso obter o grub2 para inicializar uma opção diferente apenas na próxima inicialização?
Você deve ser capaz de configurá-lo para que ele sempre inicialize no Ubuntu por padrão, então a partir da linha de comando do Ubuntu (uma vez logado) você poderá executar uma reinicialização de 1 vez no Windows usando:
grub-reboot <windows entry>
Então, se o Windows é a terceira entrada na entrada do grub (começa em 0);
grub-reboot 2
Uma vez inicializado no Windows, você simplesmente reinicializa normalmente para inicializar no Ubuntu.
Repita conforme necessário.