Ambos 4.5 e 4.51 são atualizações no local, o que significa que substituem a versão anterior (4 ou 4.5). Os arquivos são sobrescritos e essas versões do framework não possuem seu próprio diretório, mas são armazenadas em 'v4.0.30319'
Então, sua suposição estava absolutamente correta.