O caractere de expansão de histórico ! é especial mesmo quando está entre aspas duplas, mas perde seu significado especial entre aspas simples.
Aqui, está dentro de uma string com aspas duplas "Authorization: Bearer '00DE0000000K0eM!AQYAQGgmLxxxxxxxxxxx'" . As aspas simples nessa cadeia são caracteres comuns nessa cadeia, elas não são interpretadas especialmente. Não há uma string entre aspas simples aqui.
Se você adicionar uma barra invertida, ele protege a ! da expansão do histórico de acionamento, mas a própria barra invertida permanece. Então você acaba com o cabeçalho Authorization: Bearer '00DE0000000K0eM\!AQYAQGgmLxxxxxxxxx' .
Se o cabeçalho precisar ser Authorization: Bearer '00DE0000000K0eM!AQYAQGgmLxxxxxxxxx' , você pode especificá-lo desta maneira:
curl https://foo.my.salesforce.com/services/data/v28.0/ -H 'Authorization: Bearer '\''00DE0000000K0eM!AQYAQGgmLxxxxxxxxxxx'\'