Primeiro, certifique-se de que a chave USB não esteja montada (se for, desmonte-a). Em seguida, você deve usar
sudo diskutil list
Para ver se a chave USB aparece. Em caso afirmativo, o "problema" é que não está formatado. Este não é realmente um problema, você pode continuar a usá-lo.
Se a chave USB não aparecer, pode haver problemas de driver ou hardware. Em ambos os casos, provavelmente é mais simples comprar uma nova chave USB que funcione.
Depois de ter uma chave USB identificada em funcionamento, você pode usar um comando como
sudo dd if=./xbmc-9.11-live-repack.img.dmg of=/dev/rdisk<NUM> bs=1m
onde é o número do disco que diskutil mostra. Tenha muito cuidado para não usar um dos seus outros discos onde você pode causar danos.
Aqui está um post de blog com uma explicação mais detalhada do procedimento