Definitivamente, não é possível no Windows, consulte o seguinte artigo do MSDN: link
Qualquer ferramenta que permita executar um prog de 16 bits em um sistema Windows de 64 bits precisa emular um sistema, que é o que o DOSbox faz.
Os seguintes trabalhos:
public class DosBoxCaller {
public static void main(String[] args) {
ProcessBuilder pb = new ProcessBuilder(
"C:\Program Files\DOSBox-0.74\DOSBox.exe",
"-conf C:\Users\Y\dosbox.conf");
pb.directory(new File("C:\Users\Y"));
pb.redirectErrorStream(true);
try {
Process p = pb.start();
} catch (Exception e) {
e.printStackTrace();
}
}
}
Se isso não chamar o DOSBox para você, provavelmente você está errando o caminho e simplesmente ignorando a exceção que está sendo lançada. Verifique também se a sua opção conf é válida e use uma cópia modificada da configuração completa do dosbox (que pode ser encontrada na pasta do usuário \ Application Data \ Local \ DosBox, copie-a para sua pasta favorita e edite o autoexec).