Eu resolvi meu problema, mas de alguma forma por acidente.
Eu tropecei em uma troca razoavelmente longa que fala sobre algum tipo de conflito entre ttf-mscorefonts-installer e ghostscript.
Meu problema não parece exatamente como o descrito aqui, mas como estou sem ideias, decidi apenas remover este pacote ... E então tudo funcionou. Ou seja, meus arquivos EPS gerados usando R podem ser exibidos novamente.
Então, eu acho que esse é o problema - como eu não tenho necessidade deste pacote (eu presumo que isso signifique um substituto para a fonte Arial ser encontrada), eu posso deixar isso como está.