O comando é quase perfeito. Seu problema é que você precisa preceder a barra em </property> com uma barra invertida \ como essa.
sed -i -e 's/<property name="encryptData">false<\/property>/<property name="encryptData">true<\/property>/g' /Users/User/Desktop/mirth.cfg
Observado eu fiz isso para ambas as ocorrências.
Desta forma, o sed saberá que esta barra é parte do fluxo e não faz parte do comando 's'.
Espero que isso corrija seu problema.