A resposta depende de onde a VPN está "terminando". Existem duas possibilidades.
Se a VPN for terminada no PC, por exemplo no Windows, então não, você não pode (ou não deve), pois o tráfego para a rede remota é forçado para a VPN no computador & você teria que definir um "túnel dividido" para separar algum tráfego para ir para outros dispositivos na rede local sem passar pela VPN. Isso é inseguro e acrescenta risco significativo ao ponto remoto da VPN, não recomendado, pelo menos sem permissão específica do proprietário da VPN.
Se a VPN for terminada no roteador, sua rede local é uma extensão da rede remota e então você pode falar entre os PCs locais.
É possível que você tenha uma VPN apenas para ocultar alguma atividade do seu provedor de serviços local ou da aplicação da lei local. Nesse caso, criar um túnel dividido provavelmente não é um problema. Mas fornecer informações específicas exigiria mais informações sobre o sistema operacional em uso e o software e a configuração da VPN.