Como @nixda aponta em seu comentário, os atalhos são apenas arquivos de texto simples, você pode editá-los em qualquer editor de texto que desejar.
Aqui está uma maneira fácil:
- Abra o bloco de notas.
- Arraste o ícone do site fixo para a janela aberta do Bloco de Notas.
- Edite o URL.
- Salve as alterações.