Eu estou supondo que você quer um botão na barra de tarefas que abre o site específico. Uma maneira é criar um atalho para o site na área de trabalho e arrastá-lo para a barra de tarefas.
Caso contrário, você pode fixar um site na lista de atalhos do IE8. Inicie o IE8 e clique com o botão direito do mouse no ícone da barra de tarefas. Ele irá aparecer uma lista de sites abertos recentemente. Mova o mouse sobre o que você deseja e clique no botão de alfinete mostrado à direita. Em seguida, o site sempre aparecerá quando você clica com o botão direito na barra de tarefas e pode abri-lo diretamente. (Você terá que ter aberto o site anteriormente pelo menos uma vez no IE para que isso funcione).
Editar : Esta resposta é para o bloco de notas e arquivos de texto, mas ilustra o problema corretamente. Reassocie a extensão .url com o IE e, em seguida, ela deve aparecer na lista de atalhos.