ls-files tem um switch projetado para essa finalidade, -z :
-z $ git ls-files -dz | xargs -0 git rm
line termination on output.
xargs tem uma opção para permitir separar itens de entrada por um caractere nulo em vez de espaço em branco, -0 . Combinando-os, você ganha:
-z $ git ls-files -dz | xargs -0 git rm
line termination on output.