Não confie em correspondência de curinga / shell globbing, mas use o comando find para localizar e listar os arquivos desejados e enviar essa lista para tar para arquivamento:
find /A/ -type f -print0 -name \*.log | tar -cvf /path/to/file.tar --null -T -