Sim, você pode fazer isso. O instalador do SuSe perguntará como particionar seu disco rígido. Nesse ponto, você poderá optar por criar uma nova partição usando o espaço vazio de uma das suas partições existentes. Então, você pode optar por formatar essa nova partição como BTRFS ou qualquer outra coisa que você queira e instalar seu novo sistema lá.
Uma abordagem mais segura pode ser iniciar em uma sessão ao vivo e criar sua partição manualmente antes de instalar, mas, estritamente falando, isso não deve ser necessário.