Sim, sua rede seria mais lenta entre dois clientes do que apenas um cliente transferindo dados usando o roteador sem fio. Isso porque, a qualquer momento, só pode haver um computador / placa de rede que transfira dados na mídia. Isso significa que, enquanto um computador está transferindo dados para ou do roteador, todos os outros computadores precisam aguardar até que o computador já esteja transferindo dados antes de poderem transferir seus dados.
Se você tiver seu servidor conectado enquanto seus clientes estiverem em Wi-Fi, o servidor e um cliente poderão se comunicar com o roteador ao mesmo tempo e trabalhar com mais eficiência. Isso pode lhe dar uma velocidade de transferência melhor, mas você pode não notar a diferença.
Se você tem um ponto de acesso sem fio relativamente novo e computadores que suportam o novo padrão N e que usa a banda de 5GHz, há uma boa chance de você ficar satisfeito com o uso do wireless para o seu HTPC. Em todos os outros casos, isso se tornará muito dependente de quantas outras redes sem fio estão por perto, que tipo de hardware você tem nos computadores e no servidor e quantos dados você espera que sejam transferidos simultaneamente na mídia?
Em resumo; Se você tiver equipamentos que suportam 5GHz e o padrão N, sua rede estará em uma faixa menos cheia e suportará velocidades de até 300Mbps, o que deve ser bom o suficiente para muitas redes privadas. Se você tem equipamentos antigos, minha experiência pessoal é que, na melhor das hipóteses, você pensará que as coisas estão corretas, mas não ficará realmente satisfeito com o resultado.
Felicidades.