Core é o buffer máximo de recebimento geral, enquanto tcp se relaciona apenas com esse protocolo.
Quanto à questão de prioridade: Parece que a configuração tcp terá prioridade sobre a configuração máxima comum, o que é um pouco confuso. A configuração max não tem efeito na configuração atual do tcp (apenas testada no CentOS 5).
Uma descrição mais correta teria sido: default_max - mas isso era provavelmente muito longo.