Haverá um impacto no desempenho, mas na parte de latência. Então, se você executar muitas conexões paralelas, provavelmente não notará. Se você estiver fazendo 10kqps serialmente em uma (ou apenas algumas) conexões, você definitivamente verá a diferença.
O processamento da consulta em si não demorará mais, apenas o tempo de ida e volta de dados de e para o cliente aumentará (até mesmo a Ethernet de 10 Gbit teria um papel aqui) em torno de um milissegundo (para linha de 1 Gbit). Portanto, se a consulta em si levar mais um milissegundo, você estará limitado a cerca de 500 qps por conexão.
Com o soquete local, o tempo de ida e volta é praticamente na faixa de dezenas de microssegundos ...