Tempos de espera de IO altos na VM DigitalOcean

Question

Eu tive uma VM do DigitalOcean rodando o Jenkins sem problemas no ano passado. Esta semana, de repente, começaram a acontecer problemas.

Começou com aquele dia em que notei que um processo relacionado com apt ( apt-check eu acho) tinha pendurado a 100% do uso da CPU. Eu reiniciei a máquina e as coisas voltaram ao normal.

No entanto, agora a máquina basicamente se tornou inutilizável. O SSH é lento e mal consigo acessar a interface da web do Jenkins. Então, comecei a cavar e ver o que estava causando o problema.

Verificando o uso de I / O

A coisa mais notável que notei foi que, enquanto um dos meus trabalhos em Jenkins estava em execução, a utilização de IO estava chegando a 100% - constantemente.

Ok,issoémeioestranho.EufuiemfrenteumiotopinstaladonamáquinaedeiumaolhadanoqueestavausandotantoIO.Apenasaexecuçãodeiotopnãomostroumuito.Noentanto,quandocorriiotop--accumulated,noteiquejbd2estavacausandoaltostemposdeesperadeIO,semrealmentefazermuitotrabalho(praticamentenenhumaatividadedeleitura/gravação)...

Escrevertestes

Entãoeufuiemfrenteefizalgunstestes(depoisdedesligaroJenkins)paramedirodesempenhorealdeleitura/gravaçãonamáquina.Aleiturafoiboa,noentanto,aescritafoiestranha.

root@jenkins:~#ddif=/dev/zeroof=/tmp/outputbs=1Gcount=11073741824bytes(1.1GB)copied,271.903s,3.9MB/s

IssoparecemuitolentoparaumaMVDigitalOceanusandooarmazenamentoSSD.Mas,sóparatercertezadequeexecuteiomesmotesteemumaVMdiferentecomasmesmasespecificações(1G30GBAMS3):

root@gitlab:~#ddif=/dev/zeroof=/tmp/outputbs=1Gcount=11073741824bytes(1.1GB)copied,36.9623s,29.0MB/s

ÉevidentequealgoéestranhocomamáquinadeJenkins.Paramim,pareceumproblemadehardware(algunspesquisandonoGooglesobreosproblemasdeesperadojbd2iomencionadosproblemasdeRAID).

IdleOvernight

Amáquinaficouinativaduranteanoitesemaexecuçãodejenkins.AutilizaçãodeIOestáconstantementeflutuando(10-50%)eestouvendoaltousodeCPUporprocessosapt.Nãotenhocertezaseissoérelevante.

NovaVM(doinstantâneo)

Comotestefinal,paratestarproblemasdehardware,agoratambémcrieiumanovaVMapartirdeuminstantâneodaminhamáquinajenkins.Nomomento,parecequeanovaVMestáfuncionandobem(jbd2nãoestácausandoaltostemposdeesperadeIO-quandoociosoouquandoumtrabalhodejenkinsestáemexecução).

Conclusão

Poderia, de fato, ser um problema de hardware com a VM antiga do jenkins? Entrarei em contato com a DigitalOcean e verei o que eles dizem. Isso tudo parece um pouco preocupante para mim.

Atualizar

O DigitalOcean confirmou que o nó do host está com alta carga de E / S. Me preocupa que (suponho) que um cliente diferente possa fazer com que minha gota fique inutilizável. No entanto, migrei minha gota para um host diferente e agora as coisas voltaram ao normal.