minha pergunta em resumo é: A largura de banda VRAM de uma GPU é realmente o gargalo das Redes Neurais Profundas?
Versão mais longa: Um cara chamado Tim Dettmers escreveu em seu blog , que todas as operações relevantes no processador gráfico em si são mais rápidos, então a largura de banda pode fornecer novos dados. Parece razoável. Mas agora eu fiz minhas próprias peripécias ontem e descobri que este não é o caso da minha GPU. É uma Nvidia GTX 560TI com 1GB VRAM. Como você pode ver, é uma placa bem lenta e não tem muito VRAM. Com AlexNet e 128x128 Imagens e tamanho de lote de 4 - maiores não cabem no meu VRAM - a situação é assim: Relógio de 2200 Mhz: 13:34 minutos Relógio de memória de 1650 Mhz: 14:17 minutos
Quase sem aceleração. 95,3% do tempo com 1 1/3 de velocidade do clock da memória. Agora, pode ser que, na minha situação, o processador de gráficos seja realmente lento ou o tamanho do lote seja pequeno e, portanto, limitado pela largura de banda PCIe (PCIe 2.0). Eu tentei também em uma rede própria com ~ 1 milhão de parâmetros e vários tamanhos de lote até 1024 com 40x40 imagens. Lá quase não fez diferença.
Depois da minha experiência não tão representativa, ainda não sei ao certo o que é realmente importante no que diz respeito ao desempenho da GPU.
Editar: Neste caso, o framework foi Nvidia Digits com Nvidia caffe fork. Eu sei que a minha GPU é muito lenta, mas a minha pergunta foi referir-se à GPU em geral.
Tags performance bandwidth gpu vram