configurando script em uma máquina linux para computação científica [closed]

Question

Gostaria de configurar a máquina para testar alguns cálculos no meu laptop antigo, antes de replicar os testes no servidor. A computação será processamento de imagem e aprendizado de máquina, execute algum programa, carregue imagens e vídeos e execute um treinamento svm para detecção de objetos. o trainig poderia ser de 1 semana de cálculos, talvez mais.

O servidor será o CentOS, então estou pensando em uma máquina do Fedora. Eu gostaria de fazer um script bash de instalação onde eu instalo todo o necessário (vpn, zsh, cmake, python, numpy, ffmpeg, libsvm, opencv, qt) e envie-me um relatório via e-mail quando terminou.

Eu gostaria de automatizar tudo com um script e fazer a imagem do sistema de arquivos porque a idéia principal é ter alguns dados, analisá-los nos próximos dias, depois redefinir o sistema, usar novos parâmetros para o algoritmo de aprendizado, e execute novamente o programa de treinamento. repita-o.

A máquina terá que rodar e eu esperarei até que termine para que eu esteja pensando em algum watchdog com cronjob que me diga como está funcionando, envie-me um relatório no final, envie-me um e-mail se algo der errado, etc

Eu não sou um guru do Linux, então ... qualquer tipo de conselho é bem-vindo!

    

Answer 1

The computation will be image-processing and machine learning.

A menos que haja algo muito incomum acontecendo em uma dessas duas categorias (não vejo nenhuma indicação em sua pergunta), essas são apenas atividades de propósito geral e não exigem nada de especial em termos de configuração do sistema .

The server will be a CentOS so I think about a fedora machine.

O Fedora não faz paralelo com o CentOS WRT como as versões padrão do software componente, então (embora você tenha descrito muito pouco sobre o que você quer fazer) é improvável que isso tenha algum significado. Ou seja, parece que você pretende executar algumas tarefas de propósito geral em um servidor de propósito geral, então, novamente, você não precisa de nenhum conselho especial ...

I'd like to make a setup bash script where I install all the needed (vpn, zsh, cmake, python, numpy, ffmpeg, libsvm, opencv, qt) and send me a report via mail when finished.

Se você pretende replicar sua configuração várias vezes em muitos sistemas diferentes, isso faz sentido. Se não, você pode muito bem fazê-lo; dependendo da máquina e da velocidade de conexão, essa é uma tarefa muito simples, de 5 a 10 minutos , a maioria das quais é automatizada pelo gerenciador de pacotes. Não requer qualquer distribuição em particular ou (novamente) qualquer configuração especial.

Then, for testing it I don't know.. is better a backup system? create a filesystem image?

Não consigo ver nada no departamento de "processamento de imagens" e "aprendizado de máquina" que exigiria a reversão do sistema como um todo. Talvez você deva explicar mais especificamente o que deseja fazer e por que acredita que coisas como "criar uma imagem do sistema de arquivos" para "reverter, modificar e atualizar a imagem" são vitais (ou mesmo relevantes) para executar tarefas computacionalmente intensas.

    

Answer 2

Você pode executar o CentOS em laptops, não é exclusivamente para desktops, eu o uso como um dos meus desktops principais no meu escritório em casa. Eu sugeriria descobrir a versão do CentOS que seu servidor está rodando e espelhar essa mesma versão em seu sistema também.

Este comando mostrará a versão:

$ cat /etc/redhat-release 
CentOS release 6.5 (Final)

Para manter as coisas simples, eu determinaria quais pacotes você precisaria em sua instalação (nomes próprios + versões) e certifique-se de tê-los em um script simples do qual possa reinstalar, depois de configurar a base SO.

Nada sofisticado aqui, algo assim, se forem pacotes RPM mantidos localmente:

$ sudo yum localinstall rpm1 rpm2 rpm3...

Se você acabou de reinstalá-los a partir dos repositórios oficiais do YUM, mantenha um comando à mão como este:

$ sudo yum install pkg1 pkg2 ....

Além disso, sugiro que você mantenha uma cópia do diretório $ HOME, caso queira manter as coisas entre as instalações. Se você estiver fazendo isso mais do que 5-10 vezes, eu sugiro outros métodos.

    

Answer 3

A questão é meio genérica e não específica para Unix ou scripting , mas vou tentar: claro, você poderia, por exemplo, configurar uma máquina virtual primeiro para testar o que quiser fazer. Muitas soluções de máquinas virtuais oferecem para criar instantâneos da máquina virtual - se algo quebrar, você poderá reverter para um estado anterior (em funcionamento).