O PGP é Pretty Good Privacy, um padrão de criptografia assíncrona.
O GPG é o GnuPG.
O GnuPG é o GNU Privacy Guard, uma realização do PGP.
GPG4Win é recompilado pelo GnuPG para windows (e se não me engano, ele também tem alguns aplicativos extras para facilitar o trabalho).
O OpenPGP é outra realização do PGP.