Uma coisa é certa: se você usar grupos de segurança, o tráfego filtrado nunca chegará ao seu servidor, reduzindo a carga que o servidor precisa para processar regras de firewall. Isso é importante se você falar sobre DDoS.
Os grupos de segurança parecem ter apenas regras simples de filtragem, enquanto que com o iptables você pode fazer coisas realmente extravagantes. Mas você precisa deles? Pessoalmente, eu filtraria o máximo possível com grupos de segurança e então faria o próximo estágio no iptables se você precisasse de algo mais sofisticado do que os grupos de segurança permitem. Nada impede que você também defina os mesmos filtros em ambos - você seria então protegido em dobro; -)