Vai ser mais lento que uma conexão SATA adequada na maioria das vezes. As exceções notáveis são USB3 sobre SATA1 e SATA2, eSATA externo [2] sobre SATA1 interno.
Por mais lento, estamos falando de uma taxa de transferência máxima de cerca de 40MB / s em USB2 versus mais de 100MB / s em uma boa unidade de 7200rpm conectada via SATA2 (essa é a versão de 3gbps). Recursos avançados como enfileiramento também podem não ser suportados. E finalmente, o tempo de busca será um pouco mais lento também.
Você também precisa de um BIOS que suporte a inicialização para USB. Felizmente, os BIOS mais modernos não terão um problema ao fazer isso.
Uma nota para a instalação: você precisará desmontar a unidade quando inicializar o LiveCD porque, por padrão, o Ubuntu tentará montá-lo e isso interferirá no particionamento. Você pode ter que continuar desmontando as unidades conforme elas aparecem (uma vez particionadas) para que o instalador possa continuar desimpedido.
Se você puder conectá-lo internamente, ou usar uma porta eSATA, faça isso.