De acordo com a página de produtos da Dell na dimensão E521 , você pode atualizar até um máximo de 4 GB.
O manual de serviço mostra que você tem quatro slots DIMM , para que você possa instalar um par adicional de 1 GB. Eu duvido que seu sistema tenha quatro módulos de 256MB, então você não deve precisar remover nada. Você provavelmente tem atualmente um módulo de 1 GB ou dois módulos de 512 MB.
Para responder à segunda parte da sua pergunta, não, você não pode misturar DDR2 e DDR3. Seu computador suporta apenas DDR2, portanto, certifique-se de comprar o tipo correto. De acordo com a Wikipedia :
DDR3 SDRAM is an improvement over its predecessor, DDR2 SDRAM, and the two are not compatible.