Depois de cortar alguns bits do meu arquivo de configuração, descobri que era devido a (add-to-list 'default-frame-alist '(font . "DejaVu Sans Mono-12"))
.
O motivo pelo qual eu a reduzi antes era porque eu corria (set-face-attribute 'default nil :height 100)
no final do meu arquivo init.
A solução é alterar o sexp que altera default-frame-alist
para ser (add-to-list 'default-frame-alist '(font . "DejaVu Sans Mono-12") '(height . 100))
e remover o que altera diretamente o atributo face