Você pode se livrar dessa caixa por instalando o Ubuntu no seu disco USB ao invés de apenas rodar uma sessão Live.
Tudo o que você precisa fazer é inicializar o Ubuntu de outro disco USB ou de um DVD ao vivo e usar a unidade USB como dispositivo de destino durante a instalação.