Você não pode passar "combinações de teclas" através do ssh, a única coisa que você pode passar através do ssh são caracteres. Diacríticos poloneses são convertidos para o caractere correto (unicode) no seu lado local, então eles funcionam.
Se você configurar seu lado local para gerar seqüências de caracteres adequadas (talvez sequências ESC) para os códigos de chave, e configurar seu vim no lado remoto para aceitar essas sequências, então você também pode passá-las via ssh.