Quanto ao problema em si, o receptor sem fio Xbox360 suporta quatro controladores e o driver do kernel os disponibiliza, mesmo se nenhum controlador estiver conectado. Isso pode ser considerado um bug no driver, mas também tem vantagens, como permitir que você use o controlador hotplug quando um jogo já estiver em execução.
De qualquer forma, como para corrigir a situação, a maneira rápida e suja de corrigir o problema temporariamente:
rm /dev/input/js1
rm /dev/input/js2
rm /dev/input/js3
mv /dev/input/js4 /dev/input/js1
Isso renomeia os dispositivos de entrada e move os dispositivos Xbox360 não usados para fora do caminho. Isso não sobreviverá a uma reinicialização, pois os nomes dos dispositivos serão reatribuídos automaticamente a cada vez.
Para uma correção mais permanente, você precisa escrever algumas regras do udev para alterar a forma como os dispositivos são nomeados quando são conectados: