Você vai querer remover todas as partições do disco de instalação, sim. O Windows criará sua própria partição (ou duas, dependendo se quiser uma unidade D:). Ao instalar o Ubuntu mais tarde, você irá recriar mais 2 partições.
Tenha em atenção que perderá TODOS os dados nas partições do Ubuntu. Certifique-se de ter salvo seus documentos, fotos, vídeos etc. antes de fazer isso.