Acho que você pode fazer isso com a opção -C
.
Da página de manual do tar:
-C directory, --cd directory, --directory directory
In c and r mode, this changes the directory before adding the following files.
In x mode, change directories after opening the archive but before extracting
entries from the archive.
Isso significa que você deve ser capaz de executar
tar cvzf result.tar.gz -C /path/to/dir1/ . -C /path/to/dir2/ .
para conseguir o que você quer.