Você precisa criar uma nova chave ShellNew no arquivo que termina na chave HKEY_CLASSES_ROOT do registro. Dentro dessa chave, você cria uma nova entrada REG_EXPAND_SZ e a denomina "ItemName", sem aspas. Para o valor, insira o caminho completo para o programa que abrirá o novo arquivo, como: "C: \ Arquivos de programas \ YourProgram \ YourExecutable.exe", 0
Você precisa das aspas desta vez por causa do espaço no caminho. O "0" que segue o caminho designa o ícone no executável que será usado no menu para representar a entrada. Se você não sabe o número do ícone a ser usado, tente alguns.
Em seguida, crie uma entrada REG_SZ chamada "NullFile" (sem aspas) e deixe o valor em branco.
Always back up your registry by creating a restore point before making changes.
DICA: dê uma olhada na estrutura de alguns dos outros tipos de arquivo que possuem entradas no menu Novo para dicas sobre como criar sua entrada. A entrada .txt geralmente está lá, a menos que seja removida.