De docs do nginx:
A wildcard name may contain an asterisk only on the name’s start or end, and only on a dot border. The names
www.*.example.org
andw*.example.org
are invalid. However, these names can be specified using regular expressions, for example,~^www\..+\.example\.org$
and~^w.*\.example\.org$
Você precisará usar uma correspondência de expressão regular para o seu server_name, como:
server_name ~^webmail\..*\..*$;