Eu fiz algumas pesquisas nessa área há algum tempo - dos visualizadores gratuitos de PDF que consegui encontrar, o Okular pode ser o único que suporta anotações, mas elas são armazenadas separadamente do arquivo, então eles não são "enviados pelo gmail".
Também suporta inversão de cores.
A razão para a falta de anotações "incorporáveis" parece ser que a biblioteca subjacente para trabalhar com arquivos PDF (poppler) não suporta a gravação de anotações em um documento PDF ainda.