Você praticamente tem duas opções do jeito que eu vejo.
Opção 1, você é criativo para que o cartão grande caiba em seu estojo pequeno. Eu fiz a mesma coisa há muitos anos atrás, onde eu tinha um case fino da Dell que ficava na horizontal e uma placa de vídeo projetada para casos normais projetados verticalmente. Eu tive que remover o painel frontal da placa de vídeo (a parte prateada brilhante onde estão as portas DVI / HDMI. Ela é presa pelos pequenos parafusos nos quais os parafusos de aperto manual se prendem) e deixar a tampa fora do gabinete. Apenas mal se encaixava, mas consegui fazê-lo funcionar. Isso não é o ideal, já que você expõe seu computador a objetos estranhos em potencial, assim como aumenta o EMI, mas ele funciona e é econômico.
Opção 2, compre um novo caso ao comprar uma nova placa de vídeo (provavelmente você precisará de uma nova fonte de alimentação, já que é duvidoso que a fonte de alimentação fina seja suficiente para alimentar a nova placa de vídeo). Seu sistema Dell deve estar usando uma placa-mãe padrão ATX, que você precisaria verificar antecipadamente. Mas se for, então você será capaz de mover a placa-mãe e outros componentes do gabinete da Dell para o seu novo gabinete. Então, uma placa de vídeo padrão como a GTX 660Ti que você mencionou funcionaria muito bem. Eu pessoalmente fiz a mesma coisa há um ano para montar um computador para os filhos da minha irmã. Esta é a solução ideal, mas vai custar mais dinheiro.