Você precisa criar uma DLL que contenha vários ícones como recursos. Isso pode ser feito no Visual Studio por meio de estas instruções . Outras ferramentas de desenvolvimento do Windows que podem criar uma DLL devem ser capazes de fazer o mesmo.
Isso pode até mesmo ser feito com o compilador de recursos (rc.exe) incluído no Windows SDK e a criação manual de um arquivo de recursos .