Coloque isso no seu arquivo .emacs :
(setq default-frame-alist '((font . "Source Code Pro-14")))
Editar
Sinto muito pelo erro de digitação de aspas duplas. Eu consertei. Isso funciona no meu sistema.
Eu também tentei add-to-list , ele não irá definir a fonte que @michael desejava. Como o @michael está usando o emacsclient, não vejo problema em usar setq .
Por favor, @michael tente e veja se vai funcionar.