Tudo acima eu fiz apenas usando o programa Blueman para conectar o controlador. Depois que eu usei BlueDevil do Kde, de repente funciona!
Ele está conectado como Joystick (js), então eu tenho que usar o xboxdrv para funcionar na maioria dos jogos e emuladores, como visto aqui: Usando o gamepad bluetooth IPEGA com o Steam @ Linux