Por que você não faz uma nova instalação do Debian escolhendo o dispositivo usb em vez de seu disco rígido como destino? Qual a capacidade do seu usb?
Eu tenho um Debian LXDE instalado e rodando em um memory stick de 4GB, atualizando o sistema sempre que eu quiser e instalando pacotes quando eu precisar deles.