Supondo que você tenha o comando rename instalado, use:
find . -name '*"*' -exec rename 's/"//g' {} +
O comando rename usa uma expressão Perl para produzir o novo nome. s/"//g realiza uma substituição global do nome, substituindo todas as aspas por uma string vazia.
Para fazer isso com mv você precisa canalizar para um comando shell, assim você pode executar subcomandos:
find . -name '*"*' -exec sh -c 'mv "$0" "$(printf %s "$0" | tr -d "\"")"' {} \;
O que você escreveu canaliza a saída de xargs para tr , não usa tr para formar o argumento para mv .