Substitua as aspas simples em torno de Microsoft Internet Explorer
por aspas duplas e insira um caractere de espaço antes de file.js
, como você mencionou no seu comentário que você já fez. Também use um caractere de barra invertida para escapar dos caracteres $ e . colocando uma barra invertida na frente deles onde eles ocorrem no regex.
sed -i 's/if ($\.browser\.msie)/if ($\.browser={ msie: ( navigator\.appName == "Microsoft Internet Explorer") ? true : false })/g' file.js