Ob ich Dir so richtig helfen kann,, weiß ich nicht... Mal sehen. Eine Playstation besitze ich jedenfalls nicht.
Laut den Infos, die im Internet verfügbar sind, erstellt das Programm mkv2vob ein gefaktes VOB - gefakt deshalb weil es kein echtes ist, sondern das der PS3 nur vorgegaukelt wird - im Prinzip ist der Codec x264. Damit die PS3 das abspielen kann bedarf es auf jeden Fall der neuesten Firmware - versuche also erstmal ein Firmware-Update zu machen.
Ein anderer (und wohl auch besserer) Weg wäre von Anfang an gleich ein "echtes" .avi zu erstellen - z.B. mit
AVIdemux. Das sollte die Playstation mit der aktuellen Firmware ebenfalls abspielen und hat den angenehmen Nebeneffekt dass diese Filme ebenfalls auf dem Standalone-DVD wiedergegeben werden können - sofern dieser MPEG4 (aka divX/XviD) abspielt, was aber alle aktuellen Geräte können.