No contexto da ethernet, um switch não significa algo que você pode ligar e desligar como um interruptor de luz. Em vez disso, é uma caixa com vários cabos conectados a ela, que internamente alterna dados de um caminho para outro, da mesma forma que um operador de central telefônica faria há um século.
Um switch ethernet (ou hub, mas são difíceis de encontrar agora) é perfeito para seus propósitos, já que permitirá conectar dois dispositivos downstream (computador e telefone) a uma única conexão upstream. Ambos poderão usar a conexão de rede o tempo todo, como se tivessem conexão direta. Como os switches quase sempre têm pelo menos 4 portas, você também pode conectar um laptop ou outro dispositivo ethernet com fio, se necessário.
Aqui está uma mudança muito barata de uma marca respeitável (Netgear) e fornecedor: link
Você também precisará de um total de três cabos ethernet, um para o computador, um para o telefone e um para conectar o switch à tomada de parede.