A função GNU Make wildcard leva um padrão de globalização e expande-o para os arquivos correspondentes a esse padrão. O padrão %.refer não contém padrões de globalização.
Você provavelmente quer algo como
%.pdf: %.mom %.refer
pdfmom -e -k < $< > $@
%.pdf: %.mom
pdfmom -e -k < $< > $@
O primeiro destino será invocado para fazer arquivos PDF quando houver um arquivo .mom e a .refer disponível para o nome base do documento. O segundo destino será invocado quando não houver um arquivo .refer disponível.
A ordem desses alvos é importante.