Você só pode ter um diretório de destino. No seu caso, o destino comum é /home ou / . Portanto, para obter o caminho remoto duplicado no destino local, use a opção -R (versão longa --relative ):
... --relative REMOTEIP:/home/*/mail/ /
Você pode adicionar --no-implied-dirs para evitar que o rsync copie atributos para os diretórios fornecidos (mas não para subdiretórios).
Verifique primeiro com -n para garantir que isso fará o que você espera.