Hola,
Con gui, que no utilice mencoder, creo que solo está avidemux.
Me suena que habian bastantes gui para mencoder, aunque no todas permitian hacer mpeg2.
HC es un codificador para windows, escrito desde 0 por Hank. Igual que hc, funciona nuenc bajo wine (aunque es una lastima utilizar la versión windows de un codificador, mencoder, escrito para linux en wine!
). De momento, puedes intentar por la via de Wine, y en cuanto lo tengas controlado, trastear con mencoder (no olvides que ciertos reproductores de dvd no soportan los picos de bitrates que genera mencoder).
Y de todas formas, el comando que hay que ejecutar para codificar con mencoder es bastante más complejo que solo "mencoder".
Por el error que te sale
creo que no le pasas ninguna opción.
un buen punto de partida es aprovechar lo que hizó Maurus para windows, adaptando el bat a Linux (
http://www.kvcd.net/forum/viewtopic.php?t=11355 )
Salu2
Fabrice