Se meu entendimento estiver correto, você pode usar Virtual directory
para fazer isso.
Virtual applications and directories
To configure virtual applications and directories, specify each virtual directory and its corresponding physical path relative to the website root. Optionally, you can select the Application checkbox to mark a virtual directory as an application.
Consulte esta pergunta semelhante .
Atualização:
Something similar. example.com is already used by entirely different web app, not even hosted on Azure (say hosted on rackspace). Now I want to use only sub-directory (example.com/dir) to one of the web apps on Azure.
Não, isso não é possível. Um domínio só pode apontar para um aplicativo da web. Um aplicativo da web pode usar vários domínios.