after carefully analyzing it and finding the "protocol" in which the "special" file server works, im trying to communicate with it, but without success. the way the server is "talking" to me is by sending the word "welcome!" i should then reply with HELLO.
Isso não é SSH. Você não pode usar um cliente SSH para executar essa parte, porque ela não se parece em nada com o handshake da conexão SSH. O erro ssh_exchange_identification não é enviado pelo servidor; é gerado pelo seu cliente depois que ele falha em reconhecer o protocolo do servidor.
Se o seu servidor for construído de forma que HELLO
faça com que ele comece a falar SSH na mesma porta, você pode executar essa parte escrevendo um script curto e usando-o como o SSH ProxyCommand.
Caso contrário, certifique-se de que você esteja usando SSH na porta correta. (Como você determinou que o servidor "funciona com SSH", afinal?)