Se você instalou o Ubuntu a partir de um USB, talvez tenha pedido ao seu laptop para inicializar a partir de uma das suas portas USB quando o instalou. E por causa disso toda vez que você tenta inicializar e há um dispositivo USB conectado como o seu teclado (alguns periféricos têm software incorporado), ele tenta inicializar a partir daí, isso só pode acontecer naquela porta USB porque você pode ter tido a escolha de uma porta específica (se este não for o caso, ignore este post).
Mas se for, verifique a ordem de inicialização do seu laptop no Menu de inicialização do BIOS e verifique se o seu laptop está configurado para Inicializar a partir do seu disco rígido primeiro, em seguida, CD e depois USB. Dessa forma, ele não tentará inicializar de outra coisa e deve funcionar corretamente com o teclado conectado.