Primeiramente, estou assumindo que você quer dizer ssh-keygen , não ssh-genkey (também, minha versão requer que o caminho seja especificado interativamente, não por meio da linha de comando, mas a saída é a mesma). :)
O problema é que o OpenSSL usa um formato diferente para chaves públicas que o SSH. Você ainda pode usar chaves geradas por SSH, mas precisa obter a chave pública em um formato que o OpenSSL possa entender. Você pode fazer isso com o seguinte comando:
openssl rsa -in <key-name> -pubout -out public-key.pem
Onde public-key.pem é o novo arquivo que você criará. Depois que fiz isso, o comando de verificação que você mencionou foi executado com êxito, emitindo apenas Verified OK para o arquivo de teste.
Note que o comando acima requer a chave private , não a chave pública; você pode converter uma chave pública de estilo SSH em uma chave pública no estilo OpenSSL executando:
ssh-keygen -f <key-name>.pub -e -m public-key.pem
Em que public-key.pem é mais uma vez o novo arquivo que você criará.