O Nginx é bem rápido por padrão, mas o tamanho menor só ajudará se você estiver realmente tentando trabalhar com um sistema com falta de memória como sistemas incorporados ou algo assim. Desativar os módulos de e-mail pode ajudar um pouco, mas eu não aconselharia a desabilitar o material relacionado ao http (mesmo que você não ache que não vai precisar dele, você pode precisar dele um dia).
O tamanho binário realmente não tem nada a ver com desempenho, já que o material é endereçado pelo endereço de memória na RAM (não é como se o kernel levasse mais tempo para executar uma função porque é "mais" do "binário" começar ").
A documentação tem algumas informações sobre o que você obtém quando desabilita SSL, regravar e material do pcre e < a href="http://wiki.nginx.org/Modules"> este site tem uma boa descrição de quais módulos são necessários para o que (módulos no Nginx são adicionados em tempo de compilação, não como bibliotecas compartilhadas como o Apache ).