Configuraciones de filtros y codecs

[cernickalo]

Sí, unfilter.dll está en la carpeta AVS_Plugins del ARCalculator.

¿O sea que sólo tengo que añadir esta línea para que funcione Spline?
LoadPlugin("C:\eldirectorioquesea\Unfilter.dll")

Gracias

En tu caso, debería ser algo como...

Código: Seleccionar todo

LoadPlugin("C:\Archivos de Programa\ARCalculator\AVS_Plugins\Unfilter.dll")

Como ya se ha dicho, Spline36Resize forma parte de las nuevas versiones de Avisynth, por lo que no necesita línea con LoadPlugin. Se coloca en vez del filtro de reescalado habitual y listos.

Saludos.

[Jma32]

Al final he vuelto a ripear siguiendo una vez más tus consejos, elguaxo, con alguna variante. He dejado la resolución en 688x288, he aumentado el tamaño a 2/3 DVD y con ello el bitrate, la primera pasada con Quant=3 y con los filtros DegrainMedian y FFT3DFilter. Aunque el tema de los filtros creo que algo he debido hacer mal y no se han aplicado al ripear, creo que en ninguno de los ripeos hechos hasta el momento, más que nada porque los tiempos al ripear con o sin ellos han sido prácticamente los mismos.

Este es el análisis de Avinaptic, por fin un buen Average DRF Quality.

Código: Seleccionar todo

[ About file ]

Name: 2nd Pass 688x288.avi
Date: 2/06/2007 02:58:53
Size: 2,528,643,072 bytes

[ Generic info ]

Play duration: 02:16:17 (8176.96 s)
Container type: AVI OpenDML indexes multi-chunks (*)
Number of streams: 1
Type of stream nr. 0: video
Audio streams: 0
ISFT: VirtualDubMod 1.5.10.1 (build 2439/release)
JUNK: VirtualDubMod build 2439/release

[ About quality ]

Resolution: MEDIUM (688 x 288)
Width: multiple of 16 (GOOD)
Height: multiple of 16 (GOOD)
Average DRF quality: HIGH (3.007459)
Standard deviation quality: HIGH (0.700935)
Std. dev. weighted mean: HIGH (0.491891)

[ Video track ]

FourCC: xvid/XVID
Resolution: 688 x 288
Frame aspect ratio: 43:18 = 2.388888 (~2.35:1)
Pixel aspect ratio: 1:1 = 1
Display aspect ratio: 43:18 = 2.388888 (~2.35:1)
Framerate: 25 fps
Number of frames: 204424 (171987)
Stream size: 2,522,509,215 bytes
Bitrate: 2467.918850 kbps
Qf: 0.498207
Key frames: 1419 (0; 30; 330; 630; 930; ... 204310)
Null frames: 0
Min key int: 1
Max key int: 300
Avg key int: 144.062015
Delay: 0 ms

[ About MPEG4 encoding ]

User data: XviD0046
Packed bitstream: No
QPel: No
GMC: No
Interlaced: No
Aspect ratio: Square pixels
Quant type: MPEG
Number of frames: 204424
Drop/delay frames: 0
Corrupted frames: 0

I-VOPs:   1419 (  0.694 %)                          
P-VOPs:  83359 ( 40.778 %) ##########               
B-VOPs: 119646 ( 58.528 %) ###############          
S-VOPs:      0 (  0.000 %)                          
N-VOPs:      0 (  0.000 %)                          

Max consecutive B-VOPs: 2
    1 consec: 34522 ( 44.785 %) ###########              
    2 consec: 42562 ( 55.215 %) ##############           

[ DRF analysis ]

Average DRF: 3.007459
Standard deviation: 0.700935
Max DRF: 4

DRF 2:      0 (  0.000 %)                          
DRF=2:  49461 ( 24.195 %) ######                   
DRF=3: 103977 ( 50.863 %) #############            
DRF=4:  50986 ( 24.941 %) ######                   
DRF>4:      0 (  0.000 %)                          

I-VOPs average DRF: 2.013389
I-VOPs std. deviation: 0.114936
I-VOPs max DRF: 3

P-VOPs average DRF: 2.423661
P-VOPs std. deviation: 0.494574
P-VOPs max DRF: 4

B-VOPs average DRF: 3.425990
B-VOPs std. deviation: 0.494492
B-VOPs max DRF: 4

This report was created by AVInaptic (06-03-2007) on  2 giu 2007, h 06:49:54

[hank_quinlan]

Una muestra de lo que dije de aplicar thsad=100 a videos sin excesiva suciedad, concretamente a la edición WorldWide Cinema (NL) PAL de Ichi the Killer:

Video original, solo cropeado y reescalado


Ripeo resultante, con thsad=100 y un ligero FFT3D + sharpen 0,5


Los resultados son excelentes

[jordisound]

Sr Roper, creo que te estas liando. Si el error no viene del unfilter lo que te comenta cernikalo es que compruebes que la ruta es correcta. Los filtros de reescalado no hace falta cargarlos: si te funciona con lanczos ha de funcionarte con spline. Nada tiene que ver unfilter con spline

[elguaxo]

Jma32, sí eso ya pinta de excelente calidad!

Ahora el tema del filtrado. Sobre todo desde que te recomendé incluir el FFT3DFilter, la velocidad del ripeo tendría que haber bajado considerablemente. Tendrías que haberlo notado. Sería una lástima que no estuvieras aplicando los filtros, porque a esos niveles moderados ayudan a la compresibilidad y prácticamente sin sacrificar nada en la calidad.

Una prueba sencilla si tienes ganas de hacerla para despejar la duda. Aplica:

Código: Seleccionar todo

DeGrainMedian(mode=1).FFT3DFilter(sigma=5)

Esto es una aplanadora que va a dejar todo borroso y feo, pero te vas a dar cuenta si se están aplicando o no!

Respecto a la primer pasada con Quant=3, la recomendación era si seguíamos probando con el tamaño original de ~2GBs. Igualmente la distribución quedó perfecta. Mi única consulta, te dió un undersize o más o menos quedó del tamaño que te habías propuesto?

[Jma32]

En cuanto tenga un rato pruebo lo de los filtros y ya te contaré, en cuanto al tamaño previsto (2980 MB) quedó en 2976 MB.

[elguaxo]

Esperemos aver si realmente estabas aplicando los filtros. Para ese tamaño un error de -4mb creo que es realmente despreciable.

[Jma32]

¡Buenas!

Definitivamente acabo de comprobar que no se aplicaban los filtros, ni idea de cual puede ser el problema pero no se cargan, algo debo hacer mal o algo está mal en mi sistema. Por cierto, el tamaño final del ripeo fue 2979 MB sobre 2980 previstos o sea que nada de undersize.

[hank_quinlan]

Si utilizas AR Calculator, y los filtros los llevas en la carpeta Avs plugins del propio arcalc., te puede servir esto como plantilla genérica, únicamente quitando el símbolo (#) cuando quieras utilizar un filtro en cuestión, variando los dígitos de cada filtrado, y el correspondiente crop, resolución y ruta del D2V.

Código: Seleccionar todo

LoadPlugin("C:\ARCHIV~1\ARCALC~1\dgmpgdec\DGDecode.dll")
LoadPlugin("C:\ARCHIV~1\ARCALC~1\AVS_Plugins\FluxSmooth.dll")
LoadPlugin("C:\ARCHIV~1\ARCALC~1\AVS_Plugins\Unfilter.dll")
LoadPlugin("C:\ARCHIV~1\ARCALC~1\AVS_Plugins\Undot.dll")
LoadPlugin("C:\ARCHIV~1\ARCALC~1\AVS_Plugins\degrainmedian.dll")
LoadPlugin("C:\ARCHIV~1\ARCALC~1\AVS_Plugins\FFT3DFilter.dll")
LoadPlugin("C:\ARCHIV~1\ARCALC~1\AVS_Plugins\ColorMatrix.dll")
LoadPlugin("C:\ARCHIV~1\ARCALC~1\AVS_Plugins\mvtools.dll")
LoadPlugin("C:\ARCHIV~1\ARCALC~1\AVS_Plugins\TIVTC.dll")

Mpeg2Source("K:\BREVEE~1\BREVEE~1.D2V")

#tfm().tdecimate() 
#ColorMatrix(hints=true)

Crop(8,2,-8,-2)
Lanczos4Resize(672,496)

#orig=last

#vbw1=MVAnalyse(isb=true,truemotion=true,delta=1,pel=2,chroma=true,blksize=16,idx=1,sharp=1)
#vfw1=MVAnalyse(isb=false,truemotion=true,delta=1,pel=2,chroma=true,blksize=16,idx=1,sharp=1)
#vbw2=MVAnalyse(isb=true,truemotion=true,delta=2,pel=2,chroma=true,blksize=16,idx=1,sharp=1)
#vfw2=MVAnalyse(isb=false,truemotion=true,delta=2,pel=2,chroma=true,blksize=16,idx=1,sharp=1)
#MVDegrain2(last,vbw1,vfw1,vbw2,vfw2,thSAD=100,idx=2)

clip=last

FFT3DFilter(sigma=1,bt=2,sharpen=0.3)
#FFT3DFilter(sigma=1.5,plane=2,bt=4)
#FluxsmoothST(5,3)
#DeGrainMedian(limitY=5,limitUV=5,mode=4)
#Undot()
#LumaYV12(2,1)

#StackVertical(orig.subtitle("original"),last.subtitle("filtrado"))

Suerte

[Jma32]

Gracias hank_quinlan, pero uso Gordian Knot. Tengo también instalado AR Calculator pero el sript AVS lo creo siempre con Gordian. Creo recordar que al instalar ARC me instaló la versión 2.5 de Avisynth ya que la que tenía era anterior, quizá por ahí pueda venir el problema porque estuve probando todo lo que se me ocurrió pero no hubo manera de aplicar los filtros. Tengo que decir que hasta ahora mi experiencia con los filtros era, y sigue siendo, nula.

Saludos.

[hank_quinlan]

Lo que debes hacer es meter los filtros necesarios en "C:\ARCHIVOS DE PROGRAMA\ARCALCULATOR\AVS_Plugins" y puedes olvidarte del Gordian.

Yo hago una pequeña "trampa", hago un script rápido con ARC, después de unos segundos lo cancelo, abro el avs que me acaba de crear y pillo la ruta exacta del d2v (en este caso para Breve Encuentro la que te enseñé en el anterior post, sacarla a ojo es bastante complicado), el crop (que me lio con los anchos y valores negativos) y la resolución (esto ya se sabe de antemano, pero bueno) y se lo pego a un .txt idéntico al que te enseño que tengo a buen recaudo, lo guardo como... titulo de peli.avs y listo. Lo abro con VDM para ver el video aprox. que me va a salir y luego a gusto de cada cual.

Suerte

EDITO: No olvidarse de al crear el AVS con ARC tener marcado "Añadir a cola de tareas", de otro modo se guarda en un lugar que yo consigo averiguar

EDITO OTRA VEZ: Al ir a Guardar y comprimir, en fuente Avs cargar la que tu modificaste y no la que ya está cargada por el programa

[jordisound]

Si quiere hacerlo con gordian déjale hombre
Instala la ultima version de avisynth. creas el script con GK y después abrelo con vdmod. mete los filtros que quieras. si hay algo mal virtualdubmod te avisa (error en linea#tal)

[elguaxo]

En definitva el filtrado pasa siempre por el AviSynth y quien comprime es el Xvid, por lo cual da lo mismo con quien se encare la cosa. Jma32, estás a un paso de dar el salto y poder aprovechar el filtrado. No bajes los brazos y suerte!

[hank_quinlan]

Si quiere hacerlo con gordian déjale hombre
Instala la ultima version de avisynth. creas el script con GK y después abrelo con vdmod. mete los filtros que quieras. si hay algo mal virtualdubmod te avisa (error en linea#tal)

Opssss, entendí que solo usaba el GK para hacerse el Script por eso una vez cargado en ARC no le reconocía los filtros.

Perdonen ustedes

[bluegardenia]

A ver, unas preguntillas para no perder ritmo.

¿Tiene sentido utilizar VHQ pàra los b-frames en películas con un grado de compresión medio-bajo? En teoría no parece tenerlo salvo en casos de alta compresibilidad.
¿En casos de alta compresibilidad se puede llegar a prescindir de los b-frames o en su defecto bajar a 1 b-vop consecutivo y meterle un trancazo a la b-vop sensitivity hasta valores negativos de entre -10 y -20?
Lo apuntaba Foratul atrás: ¿Tiene ventajas claras darle un empujón a los p-Vops por encima de los b-vops si es posible?


Ahora otra cosa, más o menos hemos estado hablando de películas que tienen una buena (o al menos decente) fuente en DVD (otra cosa es el contenido a la hora de comprimirlo como en Apocalypto) y que se mueven dentro de los últimos cincuenta-sesenta años de producción. Las películas mudas, por ejemplo, suelen ser un dolor de muelas en muchos casos por:
Baja calidad de elementos originales (incluso tras restauración)
Baja calidad de la fuente. Ruido de todo tipo.
Gran porcentaje de planos generales, muy amplios y llenos de objetos.
Movimientos no naturales por malos telecines a velocidades inadecuadas. Al margen de los entrelazados bestiales y de los cambios aberrantes entre normas PAL y NTSC
Transiciones frecuentes entre intertítulos e imágenes. Cambios bruscos en los que el códec tiene que funcionar y no dejar huelllas pasando de discriminar mucha información en un intertítulo a detallar toda en el siguiente plano. Por no hablar de los cachés, iris y demás máscaras entre fotogramas (adaptative Quant sería una buena herramienta para esto, pero no me gusta)

En fin, que ripear en condiciones una película muda es la leche y casi siempre me encuentro con quants finales altos, por encima de 3 y 4 a pesar de todas las piruetas que le quiera dar, meterle denoiser sin reparo (mvdegrain2 con thsad alto, removegrain, o el que toque), darle preferencia a los p-vop (que en ocasiones tienen medias de hasta q. 4) sobre los b-vop, manejar la configuración de estos últimos en el q offset y q. ratio, etc. No se trata de ser esclavos del drf final, está claro, pero puede haber películas para las que un drf final "medio" (4-4'7) no sea una desgracia.

Resumiendo, ¿hay alguna manera específica de lidiar con estos casos? en los que los quants finales acaban siempre por dispararse.
Si puedo, más adalente, pongo ejemplos concretos.

Un saludo y muchas gracias.

[elguaxo]

VHQ, lo utilizo siempre.

Prescindir de b-frames, depende. Los b-frames son el gran avanze que han tenido los codecs modernos, prescindir de ellos es como dar un paso para atrás. O bien se podría hacer el ripeo a un tamaño inferior o si utilizas CQMs, podrías usar una que mantenga más detalles. Yo que estoy en el bando de las CQMs he estado ante el caso de tener una buena compresibilidad y muy similar o bien utlizando Jawor's 2CD con 1 B-Vop o la EQM V3HR con 2 B-Vops y siempre me terminé inclinando por la EQM V3HR con 2 B-Vops. Pero tener una compresibilidad tan buena es muy raro, me sucedió solamente en 2 ocasiones (1 y 2). Otra opción es utilizar un 1/1/1 (BVOPs/quantizer/offset).

Los malos telecines y velocidades no adecuadas merecen todo un capítulo. No estaba muy al tanto de esto en películas mudas, pero Lux DeLux de los Shitbusters está intentando un ripeo de los Nibelungos de Fritz Lang y si bien el DVD está en 29.976fps, el original al que hay que restaurarlo son 20fps.

Respecto al ruido, estoy haciendo ensayos con un capítulo nuevo del MVDegrain2: http://forum.doom9.org/showthread.php?p ... ost1010891
Que se trata de hacer un pre-denoise para poder entregarle al MVAnalyse un clip donde pueda hacer mejor su trabajo, y poder trabajar finalmente con thsad altos de forma más 'segura'.

Repecto a los quants altos, acá tenemos que mirar todo de otra perspectiva. Primero y fundamental es hacer la primer pasada con Quant=3, ya que el mayor problema no son tantos los quants altos en sí mismos, sino que se desvien por mucho de la predicción realizada en una primer pasada normal. Junto a esto también sería recomendable poner los quants mínimos en 3. Bajo estas condiciones la quantización H263 con un promedio rondando el 3.5-4 se ve sorprendentemente bien! Todo lo que no me gusta de la H263 en condiciones normales, juega a su favor con la primer pasada con Quant=3 y promedios entre 3.5-4. Creo que así tus ripeos complicados van a tomar otra dimensión.

[elguaxo]

Ya mencionamos a MVDegrain2 en este hilo, pero vamos a hacer un resúmen aquí.

MVDegrain2 es parte de MVTools. Es un poderoso filtro temporal para sacar ruido (denoise) y creo que los ejemplos a continuación apenas comienzan a mostrar su potencial. Por ahora el parámetro más importante es thSAD. Mientras más grande, más ruido saca.

La combinación más impresionante es un mix de filtros para 'reparar' artefactos de compresión en DVDs de mala calidad. Algunos ejemplos hechos por Lux DeLux. Ojo, que este filtrado en particular es MUY lento:

Antes:


Después:


Script:

Código: Seleccionar todo

source = last
backward_vec2 = source.MVAnalyse(isb = true, delta = 2, pel = 2, overlap=4, sharp=2, idx = 1, truemotion=true)
backward_vec1 = source.MVAnalyse(isb = true, delta = 1, pel = 2, overlap=4, sharp=2, idx = 1, truemotion=true)
forward_vec1 = source.MVAnalyse(isb = false, delta = 1, pel = 2, overlap=4, sharp=2, idx = 1, truemotion=true)
forward_vec2 = source.MVAnalyse(isb = false, delta = 2, pel = 2, overlap=4, sharp=2, idx = 1, truemotion=true)
mask = mvmask(kind=1, vectors=forward_vec1).UtoY().LanczosResize(576,432) #debe coincidir exactamente con el reescalado hecho después del crop
smooth = source.degrainmedian(mode=3).fft3dfilter(bw=16, bh=16, bt=3, sigma=3, plane=0)
source2 = maskedmerge(source, smooth, mask)
source3 = source2.MVDegrain2(backward_vec1,forward_vec1,backward_vec2,forward_vec2,thSAD=400,idx=1)
source3.gradfun2db(1.5)

--

Como ejemplo de de filtrado rápido y suave basado en MVDegrain2:

Código: Seleccionar todo

backward_vec2 = MVAnalyse(isb=true, truemotion=true, chroma=true, delta=2, pel=2, blksize=16, sharp=1, idx=1)
backward_vec1 = MVAnalyse(isb=true, truemotion=true, chroma=true, delta=1, pel=2, blksize=16, sharp=1, idx=1)
forward_vec1 = MVAnalyse(isb=false, truemotion=true, chroma=true, delta=1, pel=2, blksize=16, sharp=1, idx=1)
forward_vec2 = MVAnalyse(isb=false, truemotion=true, chroma=true, delta=2, pel=2, blksize=16, sharp=1, idx=1)
MVDegrain2(backward_vec1,forward_vec1,backward_vec2,forward_vec2,thSAD=100, idx=2) 

Creo que hank_quinlan ha utilizado esto o algo muy similar en sus últimos ripeos.

--

Y a partir de un hilo sobre MVDegrain2, DegrainMedian y FFT3DFilter en doom9, me enteré de un punto que tiene mucha lógica. En esta cadena que incluye MVDegrain2 hay siempre un MVAnalyse que hace el análisis de vectores de movimiento. Este análisis lo utiliza después MVDegrain2 para sacar el ruido de donde corresponda. Pero... justamente el ruido ya existente puede afectar adversamente al análisis de MVAnalyse. La solución es entregarle al MVAnalyse una versión con poco ruido para que pueda trabajar de forma más exacta.

Tengo toda una categoría de películas de características MUY similares. Las películas de acción/artes marcial de Hong Kong de principios de los 80s. Todas son muy difíciles de comprimir, tienen mucha acción, tienen mucho grano en algunas escenas (bastante grueso), tienen rayones y defectos varios y no tienen muchos detalles.

En estas películas de alrededor de 100~120mins con Xvid a un tamaño de 1/3DVD (aprox. 2CDs) la compresibilidad, incluso después de un filtrado 'normal' ronda alrededor del 50~56%. Incluso utilizando algo de MVDegrain2.

Pero entregando a MVAnalyse un clip con menos ruido, la efectividad aumenta vertiginosamente. Con este script (ver abajo) la compresibilidad saltó al 76%.

Comparativa de capturas. Arriba=original, abajo=filtrado:


El script:

Código: Seleccionar todo

crop( 6, 12, 0, -10)
Spline36Resize(688,368)

source=last
denoised=DegrainMedian(mode=3)

backward_vec2 = MVAnalyse(denoised,isb=true, truemotion=true, chroma=true, delta=2, pel=2, blksize=8, overlap=4, sharp=1, idx=1)
backward_vec1 = MVAnalyse(denoised,isb=true, truemotion=true, chroma=true, delta=1, pel=2, blksize=8, overlap=4, sharp=1, idx=1)
forward_vec1 = MVAnalyse(denoised,isb=false, truemotion=true, chroma=true, delta=1, pel=2, blksize=8, overlap=4, sharp=1, idx=1)
forward_vec2 = MVAnalyse(denoised,isb=false, truemotion=true, chroma=true, delta=2, pel=2, blksize=8, overlap=4, sharp=1, idx=1)
MVDegrain2(source,backward_vec1,forward_vec1,backward_vec2,forward_vec2,thSAD=250, idx=2)

FFT3DFilter(sigma=2.7,bt=4,plane=3) #sacar ruido solo en chroma

[cernickalo]

¡Triple filtrado de ruido! Euh, sólo por curiosidad... ¿a cuántos fps te funcionaba el codificado?

Por cierto, al utilizar DeGrainMedian como "prelimpiado", ¿no se eliminará demasiada información con un mode=3? ¿No sería más ajustado un mode=4, ya que el "grueso" de la limpieza lo va a realizar MVDegrain2?

Saludos.

[elguaxo]

En realidad se aplican 2 filtros, el primero en este caso, degrainmedian, es un solo soporte pero ciclos de CPU consume igualmente. La velocidad... 2fps. Más terrible es el primero, efectivo contra artefactos de compresión, ese andaba entre 0.5~1fps.

Con el último que probé estoy muy contento, ya que tengo solucionada la compresibilidad de unos 5 o 6 DVDs. En DVDs de películas modernas y de calidad se nota que este combo es demasiado agresivo, pero en estas chinitas de los 80s los resultados me sorprendieron gratamente.

Edito:

Por cierto, al utilizar DeGrainMedian como "prelimpiado", ¿no se eliminará demasiada información con un mode=3? ¿No sería más ajustado un mode=4, ya que el "grueso" de la limpieza lo va a realizar MVDegrain2?

Esto es un área nueva para mi, en este caso en partícular llegué a un resultado con el que estoy completamente satisfecho (puse 5 capturas, pero podría poner 50 más, todas con los mismos y agradables resultados). Ahora, ojo que el prelimpiado no se aplica en forma efectiva, nunca toca al original, es tan solo para armar un 'clip de apoyo' para analizar el movimiento. Después de esto el único que realiza el limpiado sobre el clip original es MVDegrain2 (y en este caso en particular FFT3D posterior para filtrado en Chroma).

Para películas modernas y buenas es demasiado, es cierto y tendría que estudiar alternativas.

[bluegardenia]

Joer, vaya trabuco. Tengo que probar algo parecido con alguna película difícil que tengo pendiente donde la "agresividad" puede ser bienvenida.

Por lo que intuyo mvdegrain tiene bastante terreno por delante para el desarrollo, a mí se me escapan esas cosas pero los que estáis más dentro del tema me parece que podéis sacar mucho provecho de ese tipo de filtrado en el futuro, combinando o en solitario, parece muy flexible y con un rango amplio de acción en casi todos los tipos de películas.

¿Alguna matriz especial para emplear junto a estos monstruos o nos seguimos guiando por la compresibilidad general que ofrezca después del filtrado, el bit rate, etc.? Estoy de pruebas con las custom y creo que a este ritmo me paso al bando de los proscritos incompatibles

Un saludo y gracias por los consejos