As permissões em sistemas semelhantes a unix são baseadas no UID do usuário, não em seu nome de usuário. Portanto, se todos os usuários relevantes tiverem os mesmos UIDs em ambos os sistemas, não haverá problemas de permissões com a unidade USB ext4 montada.
Debian (e distribuições baseadas no debian como Mint) começam a criar usuários com UID = 1000, então se você criou os mesmos usuários na mesma ordem em ambos os sistemas, eles terão os mesmos UIDs.