Você pode ter instalado corretamente o Ubuntu no segundo disco rígido, mas provavelmente o seu BIOS está configurado para usar o primeiro disco rígido como o dispositivo de inicialização. É por isso que você não vê a tela do GRUB.
Você simplesmente precisa alterar a ordem de inicialização no BIOS. Ou, se for mais fácil, você pode trocar a ordem dos discos, trocando os conectores SATA na placa-mãe.