Você não disse qual SO está usando, então estou assumindo o Linux. Nesse caso, geralmente o OOM killer faz seu trabalho tentando liberar alguma memória. Você também pode esperar falhas do kernel em tais situações. Para responder a primeira questão, não, se você não tiver nenhuma troca, o vm.swappiness
sysctl não terá nenhum efeito.