Isso se deve ao fato de que o serviço serviço gearman-job-server é iniciado com os seguintes parâmetros por padrão no Ubuntu:
PARAMS="--listen=127.0.0.1"
conforme definido em /etc/default/gearman-job-server
Alterar isso para PARAMS=""
resolve o problema de conexão remota, embora você provavelmente queira investigar o link para configurar o Gearman às suas necessidades