Para velocidade de implantação, eu conectaria seus PCs através dos telefones por enquanto.
Quando todos estão satisfeitos com o desempenho do sistema VOIP, você pode refazer as linhas telefônicas como um conector Ethernet adicional para cada escritório (ou pelo menos os escritórios que precisam dele - pessoal de TI).
Para uso a longo prazo eu sou a favor de vários cat5 drops - especialmente se você investiu em infraestrutura gigabit (todos os telefones que eu já usei foram switches de 100Mbps). Como um bônus adicional, se um jack ficar ruim (cabo defeituoso, construção errada, etc.), você ainda tem a chance de que o outro jack esteja funcionando, então você pode mover o usuário para o jack "spare" até que você possa reparar o problema do cabo.