As configurações da Política de Grupo em que você está interessado estão localizadas em:
Computer Configuration\Policies\Administrative Templates\Windows Components\Remote Desktop Services\Remote Desktop Session Host\Session Time Limits
User Configuration\Policies\Administrative Templates\Windows Components\Remote Desktop Services\Remote Desktop Session Host\Session Time Limits
Você está procurando especificamente a configuração chamada Set time limit for active but idle Remote Desktop Services sessions