Você pode corrigir problemas de inicialização com o Windows usando o CD de reparo ou a mídia de instalação. Mas antes disso eu recomendo que você liberte algum espaço no disco rígido. Existem várias maneiras de fazer isso. Você pode usar as ferramentas do Windows acima mencionadas, mas é muito mais fácil executar o Ubuntu LiveCD porque parece muito mais sistema normal. Certifique-se de que você escolheu a versão correta da arquitetura do CD, eu suspeito que você fez o stick USB de 64 bits enquanto o seu laptop tem processador Intel Celeron de 32 bits.
E, se isso não ajudar, você poderá extrair o disco rígido do laptop e tentar repará-lo em outro computador.