O seu leitor de DVD Samsung 1080p não suporta h.264 MP4, apenas codecs DivX / XviD.
Eu recomendo que você tente estas configurações:
Video Codec : DivX/XviD (either one will do)
Frame Rate : 25 or 29.7 (25 for better file size)
Video Size : Max 640 width (for height go with the aspect ratio of your video)
Audio Codec : MP3 128kbps Stereo VBR
Ele deve ser jogado agora - eu recomendo que você use o Handbrake para codificar.