Sim, o complemento é 100% seguro.
Mesmo que fosse malicioso, os add-ons do Firefox são colocados em sandbox para que não tenham interação com o sistema operacional.
O Adblock Plus tem uma base de usuários muito grande (eu também uso), então esse é outro fator que você precisa olhar.
A menos que você o esteja instalando em um computador de trabalho e exista uma política em vigor dizendo que você não tem permissão, está tudo bem. O único problema que você pode encontrar é que alguns sites exigem que você veja os anúncios deles para ver o conteúdo deles ou para que eles funcionem corretamente.