0.9.8 é a versão ABI (também conhecida como soversion), então, sim, você precisa instalar a versão mais antiga. As ABIs 0.9.8 e 1.0 não são compatíveis.
Sugiro instalar o libssl0.9.8 da maneira normal, por exemplo, usando a GUI ou aptitude install libssl0.9.8
. 0.9.8 está disponível em 12.04 e 12.10 de acordo com o link
Então você deve conseguir instalar o cliente vmware.