>> redireciona a saída do comando do lado esquerdo para o final do arquivo, no lado direito.
Então,
echo '* - nofile 65535' >> /etc/security/limits.conf
irá acrescentar * - nofile 65535 ao final do arquivo /etc/security/limits.conf , em vez de imprimir * - nofile 65535 na tela.
Se você tivesse
echo '* - nofile 65535' > /etc/security/limits.conf
(note que >> foi substituído por > ), tudo o que já estava presente em /etc/security/limits.conf teria sido substituído por * - nofile 65535 e não anexado.
Você também pode gostar de ler esta pergunta: