Sem saber a versão do SO, não posso lhe dizer muito aqui.
Para o Windows 7 e superior (eu acho?): No entanto, você tentou criar um atalho para um site e, em seguida, "fixar na barra de tarefas" depois de clicar com o botão direito do mouse no atalho?
Para o Windows Vista - XP:
Usando o recurso Início Rápido: Clique no ícone do programa que você deseja adicionar (você pode encontrar a maioria dos ícones de programas no menu Iniciar ou na área de trabalho) e arraste-o para a barra de ferramentas Início Rápido.
Nota: Se você não vir a barra de ferramentas Início Rápido, clique com o botão direito do mouse em uma área vazia da barra de tarefas, clique em Barras de Ferramentas e, em seguida, clique em Início Rápido.
Se nenhum dos dois ajudou você, então eu estou lendo a sua pergunta errada, caso em que eu tenho isso:
Vá para o "Menu Iniciar".
Clique em "Programas Padrão".
Clique em "Associar um tipo de arquivo ou protocolo a um programa".
Role até a seção "Protocolos" (parte inferior da lista).
Associe o programa de escolha ao protocolo HTTP.
Apenasumpalpite,masachoqueissopoderesolverseuproblema.
ÚltimafonteusadaparaassociaçãoHTTP.