A execução do certbot-auto fornece esta saída:
Error: couldn't get currently installed version for ...
File "/opt/eff.org/certbot/venv/local/lib/python2.7/site-packages/cryptography/hazmat/bindings/openssl/binding.py", line 140, in init_static_locks import("_ssl") ImportError: No module named _ssl
Isso ocorreu depois de uma atualização dist do Debian 7 - > Debian 8
O certbot-auto usa seu próprio ambiente virtual instalado, incluindo sua própria compilação de python. Isso foi (naturalmente) não atualizado no dist-upgrade para Jessie. O certbot-auto não detectou que precisava de uma reconstrução, achando que todas as dependências estavam satisfatoriamente já instaladas.
Então a correção foi:
rm -rf /opt/eff.org
/usr/local/bin/certbot-auto
que então baixou e reconstruiu tudo o que era necessário.
Eu também atualizei um sistema do Debian 7 para o Debian 8, mas não encontrei nenhum arquivo com o nome "certbot-auto". Então eu mudei o nome de /opt/eff.org para /opt/eff.org.old e comecei o letsencrypt-auto que baixou os arquivos necessários.