Sua suposição está correta. Os usuários ativos usarão o certificado anterior até que eles se reconectem ou a renegociação do transporte de segurança ocorra. Nesse caso, a alteração do certificado será transparente para os usuários.
É possível atualizar o certificado usado pelos Serviços de Área de Trabalho Remota no Windows Server 2012 R2 enquanto os usuários estão conectados no RDP sem desconectar todos? Acho que será transparente para as conexões existentes e que o novo certificado será usado para novas conexões, mas não tenho certeza.