Se você estiver tentando sair de um aplicativo, tudo o que precisa fazer se passar o mouse sobre o ícone, clique com o botão direito e, em seguida, clique em sair.
Mas se você estiver tentando fechar uma janela minimizada de um aplicativo, não há uma maneira de fazê-lo que eu saiba, sem trazer de volta as janelas de minimizadas.