Você pode iniciar xterm com a opção relevante (consulte man xterm ) ou criar um arquivo ~/.Xresource com a configuração lá. Tente executar este comando:
echo "xterm*font: *-fixed-*-*-*-12-*" >> ~/.Xresources
Isso adicionará xterm*font: *-fixed-*-*-*-12-* ao seu arquivo ~/.Xresources (criando-o se ele não existir), que é lido por xterm quando for iniciado. Se você fizer logout e logar novamente, (ou apenas executar xrdb -merge .Xresources ) seu xterm terá seu tamanho de fonte configurado para 12. Para as várias outras opções que você pode querer definir, veja man xterm e adicione-as a o arquivo ~/.Xresources .
NOTA: Isso funciona como esperado no meu Debian e eu usei essa abordagem por muitos anos e em muitas distribuições para definir as várias configurações para xterm (e aterm que você pode querer verificar a propósito). Por alguma razão, não consigo fazê-lo funcionar na minha máquina virtual Ubuntu, mas espero que isso seja específico da minha configuração. Eu ficaria muito surpreso se não funcionar no Ubuntu.