O desempenho de inicialização de uma conexão TCP é determinado pelo tempo de ida e volta, e cada fase do handshake ocupa metade disso. Quanto mais atraso, pior o desempenho inicial da conexão.
Se o TCP pudesse ser concluído com segurança e segurança em um handshake unidirecional, seria, porque isso seria mais rápido. Portanto, é de 3 vias, não porque existe alguma virtude especial em 3, mas porque esse é o número mínimo de trocas necessárias para se dar um passo eficaz.
Em outras palavras, sim, sua avaliação está exatamente correta: mais etapas no aperto de mão são mais indiretas e não são necessárias.
Compare o recente esforço de "início falso" do SSL do Google para eliminar o aperto de mão SSL , onde alguém descobriu uma maneira de dar um passo a menos em um protocolo que alguém já achava estar no mínimo absoluto.