Geralmente, os certificados SSL são emitidos para nomes de host como www.example.com
e não para endereços IP.
Portanto, quando você usa o endereço IP, obtém uma incompatibilidade entre o URL que você está acessando e o nome do host para o qual o certificado foi emitido.
Segundo, o diretório CA do firefox pode não ser adequado, de acordo com a man page que o wget requer:
--ca-directory=directory Specifies directory containing CA certificates in PEM format. Each file contains one CA certificate, and the file name is based on a hash value derived from the certificate. ...
Acho que o wget usa as bibliotecas openssl, possivelmente tornando isso um utilitário mais detalhado para verificar o status do certificado, por exemplo, em uma consulta para determinar a data de expiração de um certificado SSL:
echo "GET /" | openssl s_client -connect servername:port | openssl x509 -noout -dates