Você precisa dividir seus argumentos da mesma maneira que o shell:
#include <unistd.h>
int main() {
char *args[10];
int i = 0;
args[i++] = "/usr/sbin/iptables";
args[i++] = "-I";
args[i++] = "INPUT";
args[i++] = "-p";
args[i++] = "tcp";
args[i++] = "--dport";
args[i++] = "80";
args[i++] = "-j";
args[i++] = "ACCEPT";
args[i++] = NULL;
execve(args[0], args, NULL);
}
O shell divide-se em todos espaços.