Não analise ls . Isso deve fazer o truque:
rm New*
Sua abordagem está falhando porque xargs divide os argumentos no espaço em branco por padrão, portanto, ela executa rm em New , 1 , New , 2 etc. Você poderia contornar isso dividindo em novas linhas, mas isso não funcionará com nomes de arquivos contendo novas linhas.