Você pode baixar os podcasts Twit.tv Security Now para se familiarizar com os conceitos. Isso ou obtê-los de GRC.COM/Securitynow. Comece do # 1 e siga em frente até acreditar que tem o suficiente. Isso ou você pode obter um dos livros de certificação CompTIA Security + e ler para obter informações.
Dito isto, a maior parte do que você está discutindo é o que é conhecido como PKI. A Infra-estrutura de Chave Pública é uma maneira de criptografar informações nas quais você cria um par de chaves. Uma das chaves é chamada pública e você a publica. Qualquer pessoa pode criptografar dados usando sua chave pública e enviá-la para você. A outra chave é chamada privada e somente você deve conhecê-la. Apenas a chave privada pode descriptografar os dados. Da mesma forma, você pode criptografar usando a chave privada, enviar os dados para fora e o receptor recebe sua chave pública publicada e somente ela pode descriptografá-la.
RSA e DSA são dois formulários de criptografia. Não se preocupe com a diferença. Você basicamente precisa se inscrever em uma empresa como a Verisign, que ajudará você com uma conta e criará o par de chaves. Eles publicam a chave pública e você mantém a chave privada.
O PGP é um programa que usa tecnologia semelhante. Você instala o programa e cria um par de chaves. Envie o público para o servidor do PGP. A partir de então, quando você envia um e-mail, ele pode criptografar usando sua chave privada e o destinatário precisa da chave pública para descriptografar ou você pode criar um hash - uma pequena representação numérica do e-mail - que é anexada ao fundo e criada usando sua chave privada. O receptor lê o email e usa o software, cria um hash usando sua chave pública e o compara à assinatura. Se eles combinarem, nada foi alterado e isso prova que você o enviou.
No que diz respeito ao SSH, deixarei outra pessoa para explicar os protocolos.