Absolutamente. Uma chave USB funciona como qualquer HD. A maioria dos BIOSes atualmente pode ser inicializada.
Eu corri meu NAS de um stick USB por cerca de um ano para manter o uso de energia baixo. É mortalmente lento, no entanto, você estará freqüentemente torcendo os dedos esperando por ele para escrever um arquivo, e você geralmente pode ir e fazer um jantar de três pratos, enquanto ele faz um upgrade distinto!
Não há nada de especial que você precise fazer para manter as configurações, você escreve como qualquer outro sistema de arquivos normal depois de instalado.