Se a instalação for atribuída ao próprio computador, o programa será instalado na próxima vez que for iniciado; você terá que reiniciar manualmente o servidor se não houver algum mecanismo de reinicialização automática.
Se o programa não puder ser instalado sem fazer as perguntas, você não poderá instalá-lo via GPO. Você pode testar inicialmente isso executando msiexec /qb /i installer.msi ; se instalar você deve estar bem; caso contrário, falhará. Dependendo do programa, você pode conseguir contornar isso especificando propriedades para o instalador.
Quando as propriedades executadas manualmente são especificadas no formulário msiexec /i installer.msi property=value e você pode especificar várias propriedades. Confira o site do link do seu aplicativo, ele pode ter as informações necessárias (se o aplicativo exigir essas propriedades).
Você também pode criar uma Transformação do Instalador (MST) que altera o funcionamento do instalador, permitindo que o programa seja implantado. A ferramenta usual para usar é o Orca da MS, que faz parte do Platform SDK (IIRC). Existem outras ferramentas disponíveis. O site AppDeploy pode ter informações sobre como escrever um MST para seu aplicativo; caso contrário, você teria que aprender Orca o suficiente para se atrapalhar (hit-and-miss).
Raramente, o fornecedor do aplicativo publicará informações sobre como escrever pares MSTs ou Properties = Value. (Eu amo os fornecedores que fazem isso, torna minha vida muito mais fácil, especialmente com aplicativos complexos).
Estou procurando um passo a passo, mas não encontrando muito. O processo básico de publicação em um GPO é bastante simples, a maior dificuldade é colocar os arquivos MSI / MST em ordem primeiro.