Bem, há 2 ou mais problemas aqui. mas comece do começo.
Você precisa especificar como abaixo para o usuário permitido. você não precisa definir explicitamente o usuário do bloco apenas removê-lo de AllowUsers
AllowUsers syed @ IP
você tem duas opções
Autenticação baseada em host. RhostsRSAAuthentication
Mais um hack do que pode funcionar aqui é mais tunelizado. você pode autenticar e manter o túnel aberto (túnel SSH do seu servidor para o seu PC e acessar tudo no seu servidor como recurso local)