gargalo PCI-E ao transferir dados entre CPU e GPU

Question

Eu li que a sobrecarga de transferência entre CPU e GPU é um grande gargalo na obtenção de alto desempenho em aplicativos GPU / CPU. Por que isso é assim?

De acordo com o programa de teste de largura de banda da Nvidia, minha largura de banda de CPU / GPU é de 4 a 5 GBps. Este é o desempenho de pico e o desempenho real é provavelmente muito menor? Meu aplicativo só pode alcançar ~ 17 Gbps quando a transferência de dados é incluída na medição de desempenho, uma grande queda da taxa de mais de 100 Gbps ao medir apenas a computação da GPU sem transferência de dados.

    

Answer 1

Como essa é a largura de banda PCI-e, consulte o link

5GB / seg parece razoável, dado que em um sistema real você não pode fazer transferências totalmente consecutivas o tempo todo, você tem que deixar o barramento para outros periféricos de tempos em tempos.

A largura de banda na GPU é somente indo para a DRAM, e talvez nem mesmo isso (acertos de cache na GPU) e, portanto, é muito maior.

A resposta para a sua próxima pergunta "por que não há mais largura de banda no PCIe" é basicamente devido a compensações de custo / poder / tamanho / latência. Uma pista PCIe é mais lenta que a Ethernet 10G, mas os trancievers de ônibus são mais baratos; um sistema de largura de banda maior aumentaria o custo de todas as placas de expansão.