Os grupos de segurança não adicionam carga ao seu servidor - eles são processados externamente e bloqueiam o tráfego de e para o servidor, independentemente do servidor. Isso fornece uma primeira linha de defesa de excelência que é muito mais resiliente do que uma que reside no seu servidor.
No entanto, os grupos de segurança não são sensíveis ao estado; você não pode fazer com que eles respondam automaticamente a um ataque, por exemplo. IPTables são bem adaptados a regras mais dinâmicas - seja adaptando-se a determinados cenários, ou fornecendo controle condicional granulado.
O ideal é que você use os dois para complementar um ao outro - bloqueie todas as portas possíveis com seu grupo de segurança e use o IPTables para policiar as portas restantes e proteger contra ataques.