Em vez de uma solução melhor, escrevi um bookmarklet para reativar o zoom.
Parece funcionar pelo menos no Navegador Android.
javascript: document.querySelector('meta[name=viewport]').content = 'width=device-width; initial-scale=1.0; maximum-scale=3.0; user-scalable=1;'; void(0);