Até onde eu sei, não, simplesmente porque a Área de trabalho remota do Google Chrome usa sua conta do Google para autenticação e não há como conectar-se explicitamente a um sistema específico por endereço IP. Ter configuração quase zero tem suas desvantagens.
É melhor usar algum sabor de vnc, rdp ou nx dentro de uma lan. O CRD simplesmente não é a ferramenta certa para o que você deseja fazer.