Você, a qualquer momento, só precisa do mais recente. Mesmo se um aplicativo atingir 2 e você tiver apenas 3.5, ele funcionará, pois o Framework inclui tudo, desde as versões anteriores. A única exceção a essa regra é 1.x. De 2.x em diante, é cumulativo.
Scot Hanselman escreveu um artigo extenso sobre isso explicando em detalhes.
OFramework 3.0 e 3.5 ainda está usando o 2.0 no núcleo, portanto partes do 2.0 permanecerão. No Vista e Windows 7 3.0 e 3.5 é nativamente instalado e você não pode instalar apenas 2.0 por si só, como um caso e ponto.
Os Service Packs para todos os 3 serão carregados, mesmo se eu tiver apenas 3.5 carregado. Você também descobrirá que muitas vezes não é possível desinstalar a unidade se a dependência estiver nas outras.
O Framework 4.0 incorpora tudo desde o 2.0 up e, portanto, uma vez liberado com apenas 4.0, você pode executar tudo, exceto os aplicativos 1.x.