Resolvi o problema. Existe uma opção que você pode colocar em .Xdefaults para definir os pontos aparentes por polegada:
Xft.dpi: 99
É claro que isso realmente não altera os verdadeiros pontos do dispositivo de exibição por polegada, já que isso é corrigido pelo hardware. Aparentemente, esse número é usado para "dimensionar" as fontes.
Parece que o Mac OS X é executado em cerca de 72 dpi e a configuração padrão no xterm é 99 dpi.
Os glifos de fonte e as janelas são quase do mesmo tamanho (até 1/16 ") quando você define os dois aplicativos de termo para 72 dpi.