Oi,
Não tou percebendo se é o tamanho da imagem que está ficando maior ou se é o tamanho do arquivo de imagem que está ficando muito grande...
Se é o tamanho do arquivo, não tem muito que a gente possa fazer, senão alterar o vbitrate para um valor mais baixo.
Não esqueça que o vrc_minrate deve ser +/- igual a 150 (minimo que o seu SAP aceita) e que o vrc_maxrate deve ser +/- igual a 8000 (podia ser 9800 mas deve dar essa margem de segurança).
Você deveria postar sua linhas de comando completas para eu poder ajudar melhor.
Olha o que eu encontrei aqui:
http://www.kvcd.net/forum/viewtopic.php?t=10379
http://www.kvcd.net/forum/viewtopic.php?t=10980
Pode ser que ajude.
Aliás convém sempre começar por dizer se está lendo ou se já leu tutoriais e quais deles.
[]'s