Bem, o Plesk lida com as coisas de maneira diferente, então você tem que fazer as coisas do jeito Plesk;)
A raiz do documento de um subdomínio no Plesk será algo como
/var/www/vhosts/domain.com/subdomains/subdomain/httpdocs
Como na sua pergunta, para apontar a.domain.com para domain.com/a, você não precisa do .htaccess. Basta alterar o DocumentRoot do seu subdomínio a.domain.com apontando para /var/www/vhosts/domain.com/httpdocs/a. Para fazer isso, você precisa adicionar um vhost.conf ao diretório conf do subdomínio com as novas configurações do DocumentRoot.
Crie um arquivo chamado vhost.conf com o seguinte conteúdo,
DocumentRoot /var/www/vhosts/domain.com/httpdocs/a
Agora, envie este arquivo para a pasta /var/www/vhosts/domain.com/subdomains/subdomain/conf .
Agora, execute o seguinte comando para incluir o conf personalizado junto com os outros httpd includes.
/usr/local/psa/admin/bin/websrvmng -a
Reinicie o apache e confirme se o subdomínio está agora servindo as páginas do local correto.
PS: Às vezes, a versão do Plesk é importante (para os comandos que você executa), então sinta-se à vontade para perguntar se você tem algum problema para configurar isso.