Isso é muito parecido com um padrão de glob . Experimente
if [[ "$path/$file" == *.{txt,doc,docx,xlsx,rtf} ]];
Se você realmente quer uma expressão regular
if [[ "$path/$file" =~ \.(txt|doc|docx|xlsx|rtf)$ ]];
Encontrar um tutorial de expressão regular on-line foi deixado como um exercício ...