Não, você precisa ter um ID do TeamViewer para desativar.
Eu tenho TeamViewer 7 configurado em várias máquinas utilizando o acesso somente whitelist. Existe uma maneira que eu possa permitir o acesso à lista de permissões do portal do navegador ou eu tenho que baixar o cliente em cada máquina e whitelist o cliente específico. Eu uso o Firefox se isso ajuda.