Você pode remover todos eles, exceto o mais novo. Eles são criados pelo script startx . Se o X não desligar normalmente, esses arquivos não serão removidos e permanecerão para sempre (veja o bug ).
Você pode alterar a linha no arquivo /usr/bin/startx para uma maneira mais prática:
Pesquise xserverauthfile= no script e substitua a linha por:
xserverauthfile=$XAUTHORITY