Eu lido com esse problema em meus hobbies (engenharia de áudio). O valor exato depende da pessoa. Para mim, quando gravando, por exemplo, uma faixa de guitarra, qualquer coisa além de 12 ms de latência fica muito perturbadora e é muito difícil ficar na hora certa. Isto é, se você estiver monitorando seu sinal enquanto grava em uma faixa de clique ( metrônomo ). Você vai começar a ouvi-lo como um efeito de atraso em vez de seu "próprio" jogando.
Para ações passivas, como assistir TV, a tolerância é provavelmente um pouco maior, mas eu acho que não muito maior, pois você rapidamente notará quando alguém fala "atrasado". É como assistir a um filme overdub, em que a boca não diz as mesmas coisas que o som "diz":)