O VGA é um padrão analógico que tende (na minha experiência) a parecer menos nítido do que uma conexão digital, como HMDI, DVI ou DisplayPort. Então, do ponto de vista da qualidade, você pode estar mudando para HDMI.
Eu não acredito que o VGA vs o HMDI afetará a taxa de quadros. Seus problemas de desempenho são mais propensos a serem afetados pelas configurações de resolução da tela. Você obtém um melhor desempenho ao diminuir a resolução da tela?