Você pode usar aspas simples:
postgres=# \l
List of databases
Name | Owner | Encoding | Collate | Ctype | Access privileges
-----------+----------+----------+------------+------------+-----------------------
MyDb | postgres | UTF8 | en_US.utf8 | en_US.utf8 |
$ su - postgres -c 'psql -c "grant all privileges on database \"MyDb\" to user;"'
GRANT
Mas tenha cuidado, como se você estivesse usando variáveis dentro das únicaspas, elas não serão expandidas. No seu caso específico, tudo bem.
Editar : você também precisa escapar do doublequotes dentro da solicitação, então eles são passados corretamente para PostGres, a fim de indicar que o nome do banco de dados faz distinção entre maiúsculas e minúsculas.