Parece que esse é um comportamento normal para o cliente filezilla, independentemente de o certificado estar ou não assinado por uma autoridade de certificação ou o certificado ser um x509 (certificado autoassinado - o que usei na configuração de ftps). Não importa se você usa o servidor ftp do filezilla, vsftpd ou qualquer outro ftpd.
Até mesmo o guia de instruções do Digicert mostra essa janela que aparece na primeira conexão: