É possível.
Você precisa, é claro, ter ambas as estruturas instaladas no servidor web; em seguida, você precisará configurar a raiz do site para ser executada usando a estrutura 3.5 e a pasta (ou diretório virtual) onde sua sub-aplicação reside para ser executada usando o 4.0. Você precisará de pelo menos dois pools de aplicativos, um para 3.5 e outro para 4.0; você pode usar os padrões (eles são criados automaticamente ao registrar as estruturas com o IIS) ou criar os personalizados, isso depende da configuração do servidor.
Se a subaplicação não estiver relacionada ao seu site principal, isso deve ser suficiente; se eles precisarem "conversar", as coisas ficarão mais complicadas, já que o site principal e o sub-aplicativo serão executados em dois ambientes de tempo de execução completamente diferentes, mesmo que residam na mesma estrutura do site.