Estou executando o Windows 8.1 e o Ubuntu 14.10, mas recebi a mesma mensagem de erro quando estava tentando instalar o Ubuntu. O erro ocorre porque o seu computador tem o Windows definido como o sistema operacional padrão, então toda vez que você inicializa o seu computador, ele tenta entrar no Windows não importa o que aconteça.
Pode ser um pouco diferente para você, mas eu tive que desativar a inicialização rápida, fazer o Windows não mais meu sistema operacional padrão e alterar a ordem de inicialização. A primeira mudança foi em algum lugar no painel de controle, nas Configurações do Sistema, acredito. As últimas duas alterações tiveram que ser feitas no menu BIOS (que eu acesso pressionando a tecla DEL quando meu computador é inicializado, mas aparentemente isso é diferente para todos os computadores. Como alternativa, você pode manter pressionada a tecla SHIFT quando clicar Reinicie e você deve encontrar alguma opção para alterar as preferências do UEFI ou inicializar no BIOS.