Funcionará desde que o seu sistema inicial não seja de 64 bits e o de 32 bits. Se você definir as configurações em um sistema de 32 bits e seu destino for de 64 bits, você terá um pouco de desempenho.
Certifique-se de não instalar mudanças proprietárias de hardware (como as correções de kernel da NVidia) se os sistemas diferirem lá (mas o Debian pode não tê-los em primeiro lugar).
Eu fiz isso com o SuSE e o Ubuntu, primeiro instalando em uma VM e copiando as coisas para um sistema real.