Neste caso, o que você realmente quer fazer é enganar um aplicativo específico, não o próprio Windows.
Problemas potenciais
Em primeiro lugar, obviamente, essa configuração não é suportada pelo seu programa. Então é realmente uma coisa do seu próprio risco.
Você pode estar pensando que, depois de ter o programa em execução, você pode confiar no arquivo de paginação para manipular quaisquer alocações de RAM acima da memória física instalada. Infelizmente, isso nem sempre funciona, já que é possível que o programa em questão solicita memória física especificamente. Estou ciente de pelo menos uma máquina virtual / hypervisor que faz isso, e eu não ficaria surpreso se o BlueStacks estiver no mesmo barco.
Método geral
Basicamente, você quer enganar o instalador para permitir que você instale o programa, ou o programa em si, se acontecer de verificar quando você iniciá-lo. Quando esses programas / instaladores verificam a memória instalada, eles devem chamar as funções da API do Win32 para recuperar a quantidade de memória física. Alguns exemplos de funções que eles poderiam chamar:
Você precisará, de alguma forma, fazer com que essas funções retornem um resultado falso / incorreto ao programa.
Como uma ideia geral, você quer usar um depurador (por exemplo, windbg) e definir um ponto de interrupção nessas funções, de onde você pode manipular o valor de retorno. Este é um processo manual e talvez mais adequado para o instalador - você vai querer algo automático se o programa em si executa essas verificações.
Se você se sentir à altura da tarefa, poderá escrever uma DLL que conecta as APIs em questão e, em seguida, injetar a DLL no processo. Você pode fazê-lo a partir de um lançador personalizado (... isso está parecendo suspeitamente semelhante a rachaduras de ativação agora). Bibliotecas como EasyHook e Detours tornam isso mais fácil.
Você também pode encontrar ferramentas como WinAPIOverride úteis. Aquele pode deixar você evitar ter que escrever nada. (Nota: Eu nunca usei este programa, e não faço reivindicações ou garantias sobre se é seguro para a estabilidade ou integridade do seu sistema. Use a seu próprio risco.)
instaladores MSI
Se o instalador é um instalador MSI, então é um caso especial. Ao contrário dos instaladores binários, o formato MSI é um banco de dados bastante bem documentado e existem ferramentas para editá-lo. Se o tamanho mínimo requerido é simplesmente armazenado como uma propriedade do instalador, você provavelmente pode editar o instalador para alterá-lo. No entanto, se eles estiverem incorporados como ações personalizadas etc., essa abordagem poderá não funcionar.
Este tópico do fórum MSDN discute brevemente a ideia (veja a resposta de Ji.Zhou). Infelizmente, embora ele sugira dar uma olhada no MSI com o Orca, ele também diz que provavelmente não é aplicável neste cenário.