Eu estava procurando por uma resposta para algo muito semelhante. Pesquisas do Google me trouxeram aqui, que não forneceu uma resposta. Tendo encontrado a resposta eu vou necro este post e fornecer a resposta que encontrei para trabalhar para mim.
O seguinte irá escutar do localhost (o sistema rodando VBox) na porta 2323 para o telnet (ou netcat) e fornecer uma conexão serial com o servidor.
VBoxManage modifyvm <VBoxVM> --uart1 0x3F8 4 --uartmode1 tcpserver 2323