Este é um comportamento normal, pois o driver do kernel da NVIDIA deve ser carregado adicionalmente.
O tempo de inicialização depende de muitas coisas diferentes: hardware, sistema de inicialização, kernel, etc.
Portanto, não há nada com que você deva se preocupar - apenas aproveite a experiência do Ubuntu!