Eu tenho usado o ispconfig3 por 3 anos sem nenhum problema.
Você seguiu corretamente este guia se você está usando o Apache.
Você também pode tentar chown -R vmail:vmail /var/vmail/
para pelo menos corrigir o problema de permissão e verificar se funciona.