@ O comentário de Yorik me apontou na direção certa.
O problema é, na verdade, com as fontes usadas para MS Shell Dlg que, por padrão, é Microsoft Sans Serif . O último é descrito como "metricamente compatível com a fonte de bitmap MS Sans", que sugere por que o escalonamento de dpi alto pode ficar confuso.
Solução: localize
HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsNT\CurrentVersion\FontSubstitutes
no registro e altere MS Shell Dlg
para outra coisa - Arial
ou Tahoma
funcionará, mas para parecer com o restante do Windows, escolhi Segoe UI
.
As caixas de diálogo estão de volta ao normal.