Isso foi testado com o Matlab R2015a no Linux, mas eu esperaria que ele funcionasse em outras plataformas e talvez em versões anteriores também.
A documentação do Matlab é na forma de HTML, e o navegador de ajuda é basicamente um navegador da Web que exibe arquivos armazenados localmente. Existem vários arquivos de estilo central, mas o mais importante parece ser
/opt/MATLAB/R2015a/help/includes/product/css/reset.css
Abra este arquivo (como root / administrator) em um editor de texto e anexe a linha
html { zoom: 1.5; }
Ajuste o número ao seu gosto.