Requisitos mínimos para o tamanho da unidade flash USB são 2 GB para o Ubuntu e 4 GB para o Kali Linux (normal). Uma unidade USB 3.0 será mais rápida do que uma unidade USB 2.0, mas ainda muito mais lenta e menos estável do que rodar qualquer sistema operacional em um aplicativo de máquina virtual, como o VirtualBox, se você alocar pelo menos 2 GB de RAM para o sistema operacional convidado.
Se você já tem acesso a uma instância em execução do Ubuntu, o Startup Disk Creator que está integrada no Ubuntu é a melhor aplicação a utilizar para criar um Ubuntu USB persistente (no entanto, a funcionalidade de armazenamento persistente já não existe Criador de disco de inicialização no Ubuntu 16.04 e posterior). Parece ser iniciado com sucesso em máquinas mais diferentes do que se outras aplicações alternativas forem usadas para fazer o Ubuntu USB ao vivo. Tenha isso em mente se você tiver problemas ao inicializar o Ubuntu USB ao vivo que você fez usando algum outro aplicativo.
Se você estiver usando o Ubuntu 16.04 ou posterior, leia também o comentário de sudodus abaixo desta resposta.