O arquivo de configuração do Gearman está um pouco escondido no Ubuntu: Dê uma olhada em /etc/default/gearman-job-server .
A adição de PARAMS="--listen=127.0.0.1" irá escutar no localhost, enquanto PARAMS="--listen=192.168.xxx.yyy" poderá ser o que você deseja.