O arquivo de configuração do Gearman está um pouco escondido no Ubuntu: Dê uma olhada em /etc/default/gearman-job-server
.
A adição de PARAMS="--listen=127.0.0.1"
irá escutar no localhost, enquanto PARAMS="--listen=192.168.xxx.yyy"
poderá ser o que você deseja.