Use -I {} e {} no lugar em que você deseja que o argumento apareça:
xargs -I {} -n 1 echo rm /usr/src/packages/{}
(Você pode usar algo diferente de {} , {} é muito comum.)
Sem isso, xargs simpy adiciona a entrada como argumentos adicionais, portanto, não é uma questão de adicionar espaços em qualquer lugar - o comando recebe a entrada como argumentos separados.
Você provavelmente deve usar find em vez de ls , especialmente se quiser distinguir arquivos e diretórios.
Algo como isto para excluir apenas arquivos:
find . -type f -exec rm /usr/src/packages/{} \;