Você precisa adicionar um registro DNS A para sub.mydomain.com para apontar para o IP do servidor, como você fez para mydomain.com
Guia de primeiros passos, etapa 1, no link , mostra como configurar o DNS do hostname principal, que é basicamente um subdomínio, bem como a mesma coisa. um registro DNS A