O Mendeley Desktop (http://www.mendeley.com/) é bem parecido com o que você quer; suporta papéis de marcação (embora eu não tenha usado esse recurso), adicionando nós a documentos, exibindo / anotando PDFs e tem importações baseadas na Web para vários sites de referência, incluindo arXiv: link . Existe um repositório Debian / Ubuntu para instalar o cliente desktop.
E, claro, pode exportar para o bibtex.
Observe que ele mantém suas referências em seus servidores, e talvez seja necessário alterar algumas configurações para sincronizá-los com as referências, mas armazena os dados em ~/.local/share/data/Mendeley\ Ltd./Mendeley\ Desktop/
, para que haja uma cópia local disponível.