O Windows não pode usar nativamente arquivos vetoriais para ícones, é apenas que, a partir do Vista, o tamanho máximo de ícone foi aumentado para 256x256 e, mesmo agora, nem todos os desenvolvedores de terceiros alcançaram.
Os programas armazenam várias versões do seu ícone em um arquivo de recurso que reside no exe ou dll. Se uma versão de alta resolução não estiver disponível, o Windows pode não tentar dimensioná-la até o tamanho total. É por isso que Putty tem um pequeno ícone e o Skype não.
Consulte aqui para obter detalhes sobre como encontrar grandes versões de ícones.
No entanto, você pode usar um programa de vetorização para criar uma versão vetorial de um ícone existente, para que você possa aumentá-lo e salvá-lo em uma resolução maior.