Eu não acho que haja alguma maneira de fazer isso usando as ferramentas internas do OS X. Você pode, no entanto, fazer isso facilmente no appleScript:
$ osascript -e 'set volume output muted true'
Existem alguns utilitários que podem executar scripts como esses - talvez você já use Quicksilver ou Alfred ?
Se não, FastScripts é especificamente destinado a atribuir atalhos de teclado ao Applescript, então você pode basicamente encontrar o F9 para esse comando acima e aperte FN + MUTE e ele silenciaria toda vez.