Bem, no final tudo correu bem.
A resposta é sim , é possível. Eu fiz isso abrindo o Explorer e a seção "Rede" (ou "Conexões", não tenho certeza; meu Windows 8.1 está em Português). Anteriormente não mostrava, mas agora o PC onde a impressora estava hospedada estava lá. Eu cliquei nele e o ícone para a impressora estava lá. Então, foi só clicar com o botão direito no ícone e clicar na opção de menu "Conectar" e o Windows fez o resto.