Possível: Sim.
Vale o dinheiro: possivelmente não.
Não espero um ganho de velocidade significativo, a menos que o software que você está usando esteja exibindo os limites de memória da sua placa atual.
Se estiver adicionando uma segunda placa gráfica em outro slot, os recursos serão liberados, e o slot PCIE x4 não será um problema. Você provavelmente perde até 5% de velocidade, mas mesmo 95% de velocidade em uma placa gráfica ultraconexação recente deve ser suficiente para não jogar).
Assim, para responder à sua pergunta (título): Usando uma placa gráfica em um slot PCIEX4
Sim, isso certamente funciona.
Mas para responder o que eu suspeito que você quer perguntar: Será útil?
Provavelmente não.
Verifique quanta memória é usada pelo seu software de edição de vídeo. Se isso nunca usar o restante do 4GiB, não esperarei ganho significativo. Se ele sempre tenta usar muito mais que 4GiB e yopu pode ver um ganho muito pequeno. E somente se você tiver sorte o suficiente para que a diferença entre o que ele quer usar varie o que você liberta de fósforos do que você possa ter um ganho perceptível.