Finalmente encontrei o problema, RealVNC.
Eu tive que instalá-lo por algum motivo há alguns meses para obter o visualizador. Aparentemente, ele não pergunta ou nada, se você quiser também instalar o servidor, então ele fez. O servidor RealVNC (que não funciona), portanto, ouviu em todas as portas em vez de TightVNC ou UltraVNC.
Desativou o serviço do servidor RealVNC e corrigiu todos os meus problemas