Seu \t não está sendo interpretado como um caractere de tabulação. Para fazer isso, você poderia / deveria usar uma string ANSI para que seu comando se tornasse
join -t $'\t' f1.txt f2.txt -1 2 -2 1 > f3.txt
com o $ antes do '\t' , por isso ele será interpretado como uma guia como você deseja.
Um recurso útil para citar coisas com bash está disponível aqui