Para esclarecer o que aconteceu:
(É importante saber que o seu disco rígido está dividido em "volumes", também conhecido como "Partições". Agora, você provavelmente só tem uma partição, que é dedicada ao seu sistema operacional Windows. Seu objetivo é um Ubuntu completo instalação, o que reduziria o tamanho da partição do Windows para que não ocupasse todo o seu disco rígido e adicionasse mais duas partições para o Ubuntu.)
Você instalou o Ubuntu usando o Wubi, um programa que instala o Ubuntu "dentro" do Windows. Quando você reiniciar, o que você deve neste momento, você verá a opção de inicializar o Ubuntu, que foi instalado em um sistema de arquivos virtual dentro da partição do Windows. Veja Qual é a diferença entre o Wubi e uma instalação regular "ao lado do Windows"?
Se você tiver problemas sérios e não corrigíveis com isso, desinstale a versão Wubi do Ubuntu inicializando o Windows e desinstalando o programa Ubuntu de "Adicionar / Remover Programas" (lembre-se de que, embora isso pareça tratar o Ubuntu como se fosse um programa do Windows, é mais complicado do que isso.) Em seguida, inicialize a partir do pen drive USB e faça uma instalação completa do Ubuntu. Se o seu computador não inicializar a partir da chave USB automaticamente, você pode ter que alterar as configurações da BIOS entrando em configuração na inicialização, ou abrir um menu de inicialização único se o seu computador tiver e usar isso para inicializar a partir do USB pen drive.