Você pode fazer isso get ytick s, convertendo-os em string com o número necessário de dígitos decimais usando num2str e, em seguida, set eles como yticklabels .
Então, basta adicionar a seguinte linha após a plotagem:
set(gca,'yticklabel',num2str(get(gca,'ytick')','%.3f'));
%This will set all values on the y-axis to 3 decimal places