E deve funcionar, o único pensamento que me faz duvidar é que você diz que é capaz de se conectar no nome do host com o RDP (plex descobrindo o serviço provavelmente no endereço de broadcast, então ele deve funcionar também sem o DNS). Você tentou limpar o cache de dns no seu computador? Faça um ipconfig / flushdns e reinicie o computador, isso limpará o cache e mais tarde você poderá tentar se conectar novamente via RDP. De qualquer forma você pode tentar verificar no roteador se existe ou não uma entrada para o nome do servidor, verificar também o nome do grupo de trabalho, ser o mesmo para todos os computadores e (talvez) até que o seu dhcp o distribua.
Outra maneira de corrigir seu problema é colocar de volta o servidor no modo DHCP e criar uma reserva DHCP para ele.