Eu acho que você está cometendo um erro ao adicionar a chave gpg. adicionar chave usando o comando
wget -q -O - http://pkg.jenkins-ci.org/debian/jenkins-ci.org.key | sudo apt-key add -
e adicione repositório
sudo sh -c 'echo deb http://pkg.jenkins-ci.org/debian binary/ > /etc/apt/sources.list.d/jenkins.list'
lista de fontes de atualização
sudo apt-get update
instale jenkins
sudo apt-get install jenkins
se você já baixou a chave gpg, então adicione a chave usando o comando
sudo apt-key add jenkins-ci.org.key