O comando é quase perfeito. Seu problema é que você precisa preceder a barra em </property>
com uma barra invertida \
como essa.
sed -i -e 's/<property name="encryptData">false<\/property>/<property name="encryptData">true<\/property>/g' /Users/User/Desktop/mirth.cfg
Observado eu fiz isso para ambas as ocorrências.
Desta forma, o sed saberá que esta barra é parte do fluxo e não faz parte do comando 's'.
Espero que isso corrija seu problema.