No es problema de la compresión, es de la captura. Salta a la vista incluso durante la captura. Seguro que te darías cuenta, mientras estás jugando se ven claramente los frames blancos. Cuando capturo de otros programas o del escritorio no lo hace, sólo con algunos juegos a pantalla completa.
Yo uso siempre keyframes a 25, que es el estandar PAL
El codec (TechSmith Screen Capture Codec) te lo admite el virtualDub sin ningún problema.