De documentação :
Remember lookup plugins are run on the "controlling" machine:
with_fileglob
é um plugin de pesquisa, então ele procura por arquivos no servidor local, aquele em que você está executando o ansioso-playbook.
Veja o que você pode fazer:
- name: list files
action: command ls -1 /to/*
register: dumpfiles
- name: change ownership
action: file path=$item owner=newuser group=newgroup
with_items: ${dumpfiles.stdout_lines}