Não confie em correspondência de curinga / shell globbing, mas use o comando find
para localizar e listar os arquivos desejados e enviar essa lista para tar
para arquivamento:
find /A/ -type f -print0 -name \*.log | tar -cvf /path/to/file.tar --null -T -