Abra o svg up no Evince, ele deve causar o travamento da librsvg da mesma maneira. Ele também deve travar Eye of Gnome também. Você pode desativar a miniaturas nas configurações do nautilus, mas as imagens de visualização ainda são geradas quando você clica em determinados tipos de mídia.
O Gnome não é conhecido por ser muito configurável ou modular, você só tem esperança de instalar uma versão fixa do librsvg ou corrigir os arquivos svg para remover o problema.