gpg
provavelmente está usando uma porta bloqueada pelo seu firewall (ou pelo upstream). De esta página que encontrei pesquisando 'keyserver.ubuntu.com: Conexão recusada ':
Ubuntu Personal Package Archives (PPA) are an easy way for developers to make their source packages available to the common user (like myself) through APT, Debian's great package manager. Packages from the default repositories are often out of date, where the developer has published newer versions that may have fixed serious bugs. In order to ensure that the ppa is trusted, an encrypted connection over gpg is used. However, apt by default connects via port 11371, likely to be blocked if you are behind a corporate firewall.
O bug é corrigido por padrão em 11.04, e o autor faz referência a algumas possíveis correções temporárias. Se não é isso, então talvez o keyserver.ubuntu.com tenha sido desativado por algum motivo?