Eu tive o mesmo problema. A saída de ldd $(which svnadmin) | grep sqlite é
libsqlite3.so.0 => /usr/local/lib/libsqlite3.so.0 (0x0062d000) .
/usr/local/lib/libsqlite3.so.0 é um link simbólico para libsqlite3.so.0.8.6 e este arquivo foi instalado via apt-get como parte do pacote "sqlite".
O problema foi que, como o svn reclamou, minha versão do libsqlite3.so não era segura para threads. Então substituí-lo pela versão do link . Isso realmente funcionou.