Use find e execute um comando em cada arquivo encontrado, no diretório desse arquivo:
find . -name '*.tar.gz' -execdir tar -xzvf '{}' \;
A opção -execdir executa tar de dentro da pasta do arquivo encontrado, e {} será substituído pelo nome do tarfile.
Consulte a find documentação para obter mais informações.