Sim, você deve desativar o SSLv3. O Poodle funciona porque os navegadores tentam usar protocolos mais antigos, como SSLv3, se o TLS falhar. Um MITM pode abusar disso (, a menos que o novo TLS SCSV seja suportado pelo cliente e servidor, que somente o Chrome suporta atm.). Para um writeup realmente bom sobre os detalhes do ataque Poodle, veja: link
O SSLv3 está corrompido de várias maneiras , e a melhor maneira de lidar com o problema é desativar isto, desde que foi substituído pelo TLS 15 anos atrás. Se você estiver usando o SSLv3 em um site, e não se importa com o IE6 no XP (o IE7 no XP é bom), você deve estar seguro para desativá-lo.
A viabilidade de desabilitar o SSLv3 está sendo discutida em uma questão relacionada: Poodle: A desativação do SSL V3 no servidor é realmente uma solução?
Enquanto estiver fazendo isso, convém executar um teste no seu site para ver se há outros problemas: link