Qual valor você está colocando na caixa de memória máxima do servidor? (Estou supondo que você esteja usando uma conta com privilégios sysadmin ou serveradmin)
Se continuar a causar problemas, eu simplesmente esqueceria e usaria sp_configure
como você diz. Isso é o que a GUI fará, de qualquer maneira. Se isso lhe der problemas, pelo menos você deve ser capaz de ver qual é a mensagem de erro. Não se esqueça de executar reconfigure
para aplicar a alteração.