Você está usando /
como um delimitador e como muito do seu regex, sem usar nenhum escape. Sed não consegue distinguir os diferentes usos e fica confuso. Você poderia usar um \
(barra invertida) na frente de todas as barras no seu padrão de regex e substituição, mas é mais fácil, neste caso, usar um delimitador diferente. Estou um pouco confuso com sua linha também, mas aqui está o meu palpite, usando #
como o delimitador de padrão sed.:
sed -i 's#https//.*XMLRPC#//https servername.com XMLRPC#g' /etc/sysconfig/rhn/up2date