Amazon Linux AMI para NFS entre vários servidores EC2

Question

Por isso, tenho tentado criar um sistema semelhante ao Dropbox para permitir que várias instâncias do EC2 trabalhem com os mesmos arquivos. Eu estou escrevendo os programas que realmente modificam os arquivos eu mesmo, e eu não estou preocupado com problemas com erros de modificação concorrentes, como eu projetei meu caminho em torno dele. Agora, o mais próximo que encontrei para fazer algo assim foi usar o NFS, que parece um raio de sol do céu. (E também não parecia tão complexo!) Agora, QUASE eu já montei tudo, e então corri de cabeça na parede de tijolos. Tenho acompanhado o seguinte tutorial: link

A única coisa que fiz de diferente foi substituir esta linha:

/var/www/test   ec2-180-71-131-129.compute-1.amazonaws.com(rw,async)

com esta linha:

/home/ec2-user/Players *(rw,async)

A primeira parte eu mudei porque é onde eu queria colocar meus arquivos que eu queria compartilhar. A segunda parte eu mudei porque eu não conseguia descobrir o que eu deveria colocar lá, e ele disse que eu poderia colocar um curinga. (Eu sei que todos vocês estão se encolhendo agora, eu também) Eu não recebi um erro, então eu fui com ele. Tudo correu bem, e eu configurei os grupos de segurança com todas as portas listadas abertas.

Quando fui montar o arquivo na minha outra máquina:

mount -t nfs {MY_FIRST_MACHINES_DNS_HERE}:/home/ec2-user/Players /home-ec2-user/Players

Agora, primeiro ficou lá por um tempo, piscando para mim. Eventualmente, expirou. Alguém vê o que eu fiz de errado? Francamente, pode ser qualquer coisa porque não tenho ideia do que estou fazendo quando se trata do NFS. Eu tenho usado o AMI Amazon Linux padrão (Free Tier), com 16 GB do armazenamento SSD General Purpose, em uma instância t1.micro.

    

Answer 1

A partir de 2017, a maneira mais fácil de fazer isso é o AWS Elastic File System (EFS) , que é o NFS v4.1 compatível. Você paga de $ 0,30 a $ 0,36 por GB armazenados, sem pré-alocação de disco, por isso, se você excluir os arquivos que pagou imediatamente Menos. Não está disponível em todas as regiões.

A latência é aparentemente maior que o EBS, o suficiente para que possa adicionar latência mensurável para alguns casos de uso, como hospedagem na web. O rendimento é feito para ser muito bom. Espero que a AWS esteja trabalhando em melhorias. O teste de desempenho é sugerido para garantir que ele atenda às suas necessidades.

    

Answer 2

Tente alterar os nfs no comando mount para nfs4. O NFS v3 e anteriores dependem de muitos daemons e mapeamentos de portas para funcionar corretamente. O NFSv4 precisa apenas do nfsd e da porta 2049 / tcp.

Sobre o *, basta substituí-lo pelo endereço IP das instâncias do cliente. Se você tiver mais de 1, basta adicioná-los como:

/ mount / ponto ip1 (options1) ip2 (options2) ...

    

Answer 3

Lembre-se de que, se você usar o EFS, sua taxa de transferência será baseada no tamanho geral do volume do EFS, com uma alocação de crédito de estouro. Pense nisso como sendo o mesmo modelo de alocação de recursos que você está usando com as instâncias t1 ou t2 EC2 - você está pagando menos pela instância e obtendo uma alocação de uso de burst. Se você ficar sem esses créditos, seus recursos terão menor prioridade. Sua instância t2 "parece" mais lenta, suas transferências de arquivos EFS demoram mais para iniciar e terminar.

Se isso acontecer no EC2, você pode elevar o sabor da sua instância basicamente a qualquer coisa que não comece com a letra t .

No EFS, até o momento, parece que sua única opção é aumentar o tamanho do seu sistema de arquivos.

Se o desempenho não for tão importante para você quanto a disponibilidade e a redundância, o EFS ainda poderá ser adequado para você. Faça alguns testes se tiver alguma dúvida.

No momento desta publicação, o EFS oferece 50 MB / s por TB (ou fração) por sistema de arquivos, aumentando para 100 MB / s, desde que você tenha os créditos. A taxa de transferência é compartilhada entre todas as instâncias acessando o sistema de arquivos EFS. Dez instâncias acessando um sistema de arquivos de 1 TB? 5 a 10 MB / seg cada.

Referências:

Perguntas freqüentes sobre o Amazon EFS (veja a pergunta sobre "Quanto throughput cada sistema de arquivos suporta?"): O conselho do GitLab sobre a hospedagem de repositórios na EFS  (tl; dr - "Não.")