A versão do subversion incluída no Ubuntu 11.04, pelo menos, não tem link com o OpenSSL, mas usa a biblioteca GnuTLS :
$ ldd /usr/bin/svn
...
libgnutls.so.26 => /usr/lib/x86_64-linux-gnu/libgnutls.so.26 (0x00007fab1dd33000)
...
libneon-gnutls.so.27 => /usr/lib/libneon-gnutls.so.27 (0x00007fab1d239000)
Portanto, compilar uma nova versão do OpenSSL não é suficiente. Se você quiser que o Subversion o use, você provavelmente terá que recompilar a biblioteca Neon e o próprio Subversion.
O que faz você pensar que a biblioteca SSL é a causa do problema que você está vendo? Talvez haja alguma outra solução para o seu problema além de recompilar tudo.