Eu acho que você fez certo. Você precisa criar dois pools de aplicativos, definir a estrutura .NET correta e associar o pool de aplicativos em "Configurações avançadas" do aplicativo "sub-pasta".
Pode haver um problema devido a arquivos web.config aninhados. Tente colocar a pasta física do seu segundo aplicativo fora da pasta física do site principal.
Exemplo:
C:\inetpub\wwwroot\mainsite
C:\inetpub\wwwroot\subsite
e crie um aplicativo de diretório virtual.
Além disso, verifique o log de eventos do aplicativo em Visualizar eventos. Talvez haja alguma outra mensagem de erro que possa ajudar a resolver o problema.