Uma das maneiras mais fáceis de contornar o personagem que está escapando na linha de comando (se essa é a causa do problema) é usar o preenchimento de tabulação para que ele preencha os caracteres "desajeitados"; dependendo de como seu diretório / ReferenceFiles está cheio, você pode ser capaz de fazer algo como
scp -P portNumber /Ref<tab>CompanyA<tab>Some<tab>Game/file user@server:...
Como alternativa, você pode usar um? em vez de um caractere, desde que não haja muitos nomes de arquivos / diretórios conflitantes:
scp -P portNumber /ReferenceFiles/CompanyA,The/Some?DirectoryWithA?Space/Game/file ...
Para diretórios, você precisa usar a opção -r para scp (sua omissão é porque você obteve o erro "não um arquivo regular").
Por último, pode ser que o destino no servidor não exista como digitado, e essa é a origem do erro (e não o arquivo de origem)?