Os soquetes Unix são um pouco mais rápidos, já que você não tem o tcp-overhead. Se você perceber que essa perda de desempenho é uma questão de carga do servidor. Se você não tem uma carga de servidor muito alta, você não a reconhecerá.
Se você usa Jails (FreeBSD) ou alguma outra tecnologia de virtualização para separar o MySQL-Server do servidor Web, você geralmente usa a configuração tcp / ip em vez de sockets. As regras de firewall precisam restringir o acesso.
Você precisa descobrir se o seu sistema está sob carga pesada, para que um soquete seja essencial ou você possa se concentrar em um bom design do sistema (serviços de separação), então uma solução tcp / ip seria melhor.
Portanto, faça uma longa resposta:
Sim, há uma diferença de desempenho, os soquetes são mais rápidos. Se você não está sofrendo alta carga de servidor, basta escolher o que se encaixa melhor ao design do seu sistema.