A opção ' -R ' usermod não altera o diretório raiz de um usuário, ele altera a pasta raiz usermod dentro de, assim você pode usá-lo para modificar usuários dentro de ambientes chroot .
Editar: Suponho que o que você quer fazer é colocar o usuário dentro de um ambiente chroot quando ele fizer login no SSH, você pode usar a opção ' ChrootDirectory ' sshd_config para fazer isso.