Depois de instalar o Ubuntu ao lado do Windows, quando você reiniciar, verá uma tela que oferece a opção de inicializar no Ubuntu ou no Windows. Essa tela é a interface do gerenciador de boot do Linux, conhecido como Grub, que será instalado por padrão quando você instalar o Ubuntu.
A remoção do Ubuntu, como czifro mencionado acima, seria uma simples questão de excluir ou formatar a partição que o contém.