Se você abrir um link no histórico do navegador, será perceptível porque o link aberto aparecerá novamente no histórico. Se você abrir um link recentemente visitado, o link visitado passará para o topo do histórico, ou seja, o tempo de acesso será atualizado (não sei exatamente o que conta como recente , acho que é até 1 hora).
No primeiro caso, você poderia excluir a nova entrada do histórico. No segundo caso, há apenas uma entrada, portanto, excluí-la seria suspeito, mas deixá-la também seria suspeito porque o tempo de acesso mudou.
A solução não técnica simples para isso é abrir qualquer link do histórico em uma nova janela anônima.
Acho que isso deve ser suficiente na maioria dos casos em que o outro usuário está apenas inspecionando o histórico. É provável que também previna algumas das técnicas que especialistas em computação usariam para determinar se um site foi visitado (por exemplo, inspecionando o cache do navegador ou registros do navegador), mas não ajudará se o tráfego da rede for monitorado.