Não, você não pode fazer isso. Você precisa de algo inteligente para compartilhar a impressora. Um dos seus PCs ou um servidor de impressão.
Você não precisa substituir todo o seu roteador, você pode obter um dispositivo como este, por exemplo, que você pode simplesmente conectar em uma das conexões com fio do seu roteador existente. link
Os periféricos USB são um pouco inúteis porque são mais caros que um servidor de impressão dedicado, não são 100% compatíveis com qualquer dispositivo USB e podem causar muitos problemas adicionais. Com um switch, a impressora só seria conectada a um PC por vez, para que você não pudesse enfileirar os trabalhos e isso poderia causar problemas nos drivers de impressora que monitoram o status da impressora. Eles estão por aí, mas eu não os recomendaria para compartilhar uma impressora, eles são mais adequados para coisas como mouses e teclados.