OK, encontrei o problema. Vou postar a resposta para referência para todos, que tenta o mesmo: Instalando o Ubuntu Touch em um telefone, quando você usa uma máquina virtual para o Ubuntu que você está usando.
O principal problema: para poder acessar o Nexus de dentro da VM, eu tive que ativar um "filtro de dispositivo" para que o Ubuntu dentro da VM pudesse ver o telefone. O filtro do dispositivo deve ser diferente para o telefone, quando estiver no modo de recuperação!
Em detalhes:
Primeiro exibi o telefone para o Android 4.2.2. Desta forma, eu era capaz de, pelo menos, ver o modo de recuperação que vem com a instalação do Ubuntu Touch (NB: Parece que o Android estoque no Nexus 4 não é fornecido com o modo de recuperação [citação necessário]). O problema permaneceu, que o flash-phablet permaneceu em INFO:phablet-flash:Waiting for recovery image to boot .
Depois de instalar a imagem de Recuperação do CWM, descobri que o adb não consegue ver o dispositivo no modo de recuperação. Daí eu verifiquei as configurações do VirtualBox e adicionei o Nexus 4 como um filtro de dispositivo novamente nas configurações USB. Descobriu-se que no modo de recuperação, o ID do produto do telefone é diferente, portanto, não foi encaminhado para o sistema operacional convidado na VM e o phablet-flash não pôde continuar, assim que o telefone estava no modo R.
Espero que isso ajude se alguém tentar o mesmo.