Configurando permissões no Cloudera Hadoop 4 (CDH4)

Question

Eu gostaria de configurar as permissões do HDFS no CDH4, com os seguintes requisitos:

1. Todos podem ler tudo de todos os diretórios do HDFS
2. Cada usuário só pode gravar em seu diretório de usuários no HDFS
3. Exceto um usuário especial que pode escrever em todos os lugares

Esta é uma versão simplificada dos requisitos, mas é um bom começo.

A questão é - como configuro isso? Eu tenho que ter o Kerberos configurado? O guia de segurança do Cloudera apenas discute o Kerberos, mas acho que não preciso de um esquema de autenticação strong neste momento.

Um guia passo-a-passo seria realmente útil, pois sou novo no Hadoop.

    

Answer 1

Se você estiver executando no modo não-kerberos, o dfs.permissions é basicamente consultivo. As permissões serão aplicadas pelo namenode, desde que alguém não consiga falsificar seu nome de usuário e tornar-se qualquer outra pessoa (incluindo um superusuário como o hdfs). Se você é legal com isso, então você não precisa configurar o Kerberos.

1. Defina as permissões padrão para arquivos e diretórios como fs.permissions.umask-mode = 0022. Isso fará com que todos os arquivos recém-criados sejam configurados com as permissões corretas para leitura.
2. Defina as permissões padrão para / user / username como 755.
3. Configure um novo grupo unix chamado "hadoop". Adicione seu usuário a isso. Em seu hdfs-site.xml, defina dfs.permissions.supergroup como hadoop. Certifique-se de que seu usuário hdfs faz parte deste grupo unix. Qualquer usuário no grupo hadoop pode agora gravar em qualquer arquivo, porque eles são considerados um superusuário.