Vá em frente. Lembre-se de que removerá qualquer coisa do disco. Caso você precise salvar algo, use o disco de instalação do Ubuntu para salvá-lo. By the way: não há necessidade de removê-lo do Windows. Você será solicitado a substituir uma instalação atual do Ubuntu durante a instalação.
% bl0ck_qu0te%Não, você não faz. Se houver apenas o Windows nele, você não precisa dele. Além disso, ao remover sua instalação do Ubuntu e instalar uma nova versão, ela também instalará o Grub.
% bl0ck_qu0te%Você assume que há algo com que se preocupar;) Lembre-se: ao mexer com partições, certifique-se de que há algo importante nessa máquina para fazer um backup, mesmo que não pretenda mexer com a partição em que coisas importantes estão. (como a partição do Windows).