Você cometeu um erro em sua lógica. Ambas as condições devem ser preenchidas não apenas uma, de modo que você precisa do operador AND (& &) em vez do OR (||). Experimente:
if [ $extension != "avi" ] && [ $extension != "mpg" ]; then
ou mais elegante:
if [ $extension != "avi" -a $extension != "mpg" ]; then