Heeft de kleur van een flat invloed op de flat-calibratie?

Viewing 15 posts - 1 through 15 (of 77 total)
  • Author
    Posts
  • #9351

    Haverkamp
    Participant
    posts: 648

    Het antwoord is volgens mij, nee, mits de flat calibratie correct is geimplementeerd. ( en dat is in veel programma’s niet het geval blijkt )

    Met hulp van @keesscherer probeer ik bij deze aan te tonen dat je bij een juiste flat calibratie implementatie, geen verschil zult zien in de kwaliteit en kleur van je gecalibreerde opnames, als je ze calibreert met flats van verschillende kleuren.

    dit topic komt voor uit het draadje : http://www.starry-night.nl/forums/topic/flat-field-generator-aurora-versus-geooptic/

    —————————————————————————————————————————————-

    Ik heb van @keesscherer een ongecalibreerde sub van M31 ontvangen en ik heb 2 verschillende flats ontvangen:

    1)  1 gemaakt met een blauw led panel

    2) en de ander met een wit led panel

    Ik wil, bij deze, 2 zaken aantonen:

    1) de kleur van een flat hoeft niet van invloed te zijn op de flatcalibratie

    2) Ook zal getoond worden, dat de noise in de gecalibreerde subs vrijwel gelijk is, ook al zijn ze met verschillende flats gemaakt.

    Ik weet dat op veel fora hier veel discussie over is en Kees gaf dat ook al aan bij het starten van dit draadje, dus ik probeer het zo duidelijk mogelijk te illustreren met screenshots waarin je de data inclusief histogrammen en stretch parameters ziet.

    Alle data is gemaakt met de gemodificeerde Canon 6D van @keesscherer, dus we werken met CR2 bestanden. De Raw conversie in mijn programma negeert netjes de camera wit balans en laat de data zien zoals lineair geregistreerd door de sensor. De histogrammen tonen de data in 16bit, de echte ADU waardes liggen dus een factor 4 lager, vanwege de 14bits data van de Canon 6D.

    Stap 1: we zullen eerst even kijken naar de flats zelf, waar liggen de pieken van de histogrammen en welke kleur zijn ze eigenlijk

    Flat van wit led panel (uhhh, ik vind dit meer groen… ;-), histogrammen vallen zeker niet over elkaar, komt mogelijk door de modificatie van de 6D ?):

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/WhiteLedPanel-FLAT_TV16s_200iso-colorAndHistogram.jpg

    gestretcht:

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/WhiteLedPanel-FLAT_TV16s_200iso-colorAndHistogram-Stretch.jpg

    Dan de flat gemaakt met het blauwe led panel ( blauw? het is eerder een cyaan tint, ook weer de modificatie van de 6D ?):

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/BlueLedPanel-IMG_2903_colorAndHistogram.jpg

    gestretcht:

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/BlueLedPanel-IMG_2903_colorAndHistogram-Stretch.jpg

    Wat valt op? Nou voor een wit en blauw led panel, vind ik de flats die er mee gemaakt zijn weinig wit en blauw… de vraag blijft natuurlijk of dit consequenties heeft voor de flat calibratie.

    Stap 2)  hoe ziet de niet gecalibreerde opname van M31 eruit? Welke kleur is de hemel voor de camera en waar liggen de histogram pieken?

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/M31-uncalibratedSub-colorAndHistogram-stretch.jpg

    Hmm, ik weet niet hoe je dit noemt, maar het is een soort bruin/groen, blauw is in ieder geval veel zwakker dan rood en groen.

    Stap 3) hoe ziet de gecalibreerde opname eruit als we de opname calibreren met de flat gemaakt met het witte led panel:

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/M31-calibratedWithWhiteLedPanelSub-colorAndHistogram-stretch.jpg

    Okee, je ziet dat de kleur niet veranderd en je ziet mooi aan de histogrammen van de kanalen dat de dispersie afneemt door flat-field calibratie. (Of wel, de pieken worden smaller omdat de opname vlakker wordt.)

    Stap 4) hoe ziet de gecalibreerde opname eruit als we de opname calibreren met de flat gemaakt met het blauwe led panel:

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/M31-calibratedWithBlueLedPanelSub-colorAndHistogram-stretch.jpg

    Dit ziet er precies hetzelfde uit qua kleur en aan de histogrammen zie je dat er vrijwel geen enkel verschil is tussen de 2 flat-field gecalibreerde opnames ook al zijn de flats compleet anders qua kleur.

    Hiermee is aangetoond dat de kleur van een flat niet van invloed hoeft te zijn op de flat-calibratie volgens mij.

    Blijft over, wat er met de lokatie, dispersie, noise, SNR gebeurd in de gecalibreerde subs.

    De 3 opnames ( 1 zonder en 2 met flat calibratie) worden voor noise en SNR vergelijking  op 2 manieren bekeken:

    1) genormaliseerd op lokatie en dispersie

    2) genormaliseerd, enkel op lokatie

    beiden met de ongecalibreerde opname als referentie.

    Ik toon genormaliseerde waardes in floats in het bereik van 0-1.

    lokatie         dispersie         noise1          SNR1    noise2     SNR2

    Ongecalibreerd   Rood:            0,0970       0,0040          0,0016         5,85        0,0016     5,85

    “witte” calibratie Rood:            0,1014       0,0032           0,0020        4,98        0,0017     5,03

    “blauwe” calibratie Rood:        0,1016       0,0036           0,0019         4,83        0,0017     4,85

     

    Ongecalibreerd  Groen:             0,0925       0,0038        0,0021         4,29         0,0021     4,29

    “witte” calibratie Groen:            0,0950       0,0031        0,0026        3,63         0,0021      3,69

    “blauwe” calibratie Groen:        0,0950       0,0033        0,0025        3,65         0,0022     3,69

     

    Ongecalibreerd  Blauw:             0,0387       0,0023        0,0026        4,79        0,0026     4,79

    “witte” calibratie Blauw:            0,0407       0,0022       0,0029        4,29        0,0027     4,31

    “blauwe” calibratie Blauw:        0,0407       0,0022       0,0029         4,29       0,0027     4,32

     

    Wat valt op?

    – Flat calibratie is een noise injector! Zeker als je het doet met 1 flat 😉 Dus meer flats schieten !

    – lokaties van gecalibreerde frames ligt iets hoger t.o.v. niet-gecalibreerde opname, dat verwacht je ook, de flat-field calibratie verhoogt de adu waardes buiten het centrum van de opname, waardoor de lokatie van de opname iets hoger komt te liggen.

    – dispersie van de gecalibreerde opnames neemt af t.o.v. niet gecalibreerd opname. Dit verwacht je ook, want de opnames worden vlakker.

    – De SNR van de gecalibreerde opnames ligt 10-20% lager dan de niet-gecalibreerde sub. Meer flats schieten dus 😉

    – Je ziet dat normalisatie voor dispersie invloed heeft op de noise waardes die worden gevonden, maar eigenlijk niet op de SNR binnen de onzekerheidsmarge. MultiResolutionSupport Gaussian Noise estimate is gebruikt voor noise bepaling en dat heeft een onzekerheid van ongeveer 1% indien goed geimplementeerd.

    – Het enige wat verder opvalt is dat de “blauwe”calibratie wel een licht negatief effect lijkt te hebben op het rode kanaal. Maar dit gaat om enkele procenten en is mogelijk slechts foutmarge, vanwege de flatcalibratie zelf. We hebben geen garantie dat de flats identiek zijn qua kwaliteit.

    – door de dispersie normalisatie wordt data aan de rechterkant van het histogram iets eerder of later geclipt, wat ten koste gaat van SNR.  Aan de noise zie je dat er geen verschil is.

    Ik hoop dat hiermee duidelijk is gemaakt dat de kleur van een flat geen rol hoeft te spelen in de flat-calibratie. Als dit wel het geval is, dan is de flat-calibratie niet goed en wordt je data blootgesteld aan een niet optimale verwerking. Iets wat we niet zouden willen denk ik 😉

    Uiteraard hoor ik graag tegen argumenten als die er zijn.

    #9358

    KeesScherer
    Participant
    posts: 1386

    Ter verduidelijking dan nog even een wit licht flat met het GeoOptik paneel en een ONgemodificeerde Canon 5D. Dan liggen de RGB curves mooi over elkaar. (Deze foto was ook opgenomen in het oorspronkelijke draadje.).  Kan je een uitspraak doen over de flatcalibratiekwaliteit in Pixinsight en DeepSkyStacker?

    #9361

    Haverkamp
    Participant
    posts: 648

    Ah, helder, bedankt Kees, ik vind het wel vreemd. De witte flat via de gemodificeerde Canon 6D was groen, terwijl ik dacht dat die door modificatie eerder roder zou worden…

    #9362

    Haverkamp
    Participant
    posts: 648

    Kan je een uitspraak doen over de flatcalibratiekwaliteit in Pixinsight en DeepSkyStacker?

    Deep Sky Stacker heb ik niet getest, maar kan ik wel doen. Wat Pixinsight betreft, lijkt het erop dat de flat-calibratie echt dramatisch slecht is. Ik heb dit bij meerdere mensen inmiddels vastgesteld. Ik weet ook dat meerdere mensen PI hiervan verdenken en dat is dus denk ik terecht.

    We kunnen dit nu meteen testen natuurlijk voor Pixinsight met de m31 sub en de twee flats die je me had toegestuurd. Calibreer zelf de m31 sub in Pixinsight met de 2 flats afzonderlijk. Je kan mij die gecalibreerde subs toesturen voor een genormaliseerde vergelijking tussen de gecalibreerde subs uit PI en uit mijn programma. De calibratie uit DSS is lastiger te testen, want DSS kan volgens mij geen gecalibreerde subs uitspugen? Misschien als je in DSS calibreert en dan een stack maakt van die ene sub? (maar dat kan misschien niet, mogelijk dat DSS niet 1 frame wil stacken.. 😉 )

    #9364

    KeesScherer
    Participant
    posts: 1386

    Ah, helder, bedankt Kees, ik vind het wel vreemd. De witte flat via de gemodificeerde Canon 6D was groen, terwijl ik dacht dat die door modificatie eerder roder zou worden…

    Bij mij is de witte flat van de gemodificeerde 6D rood, zie screenprint.

    #9367

    Haverkamp
    Participant
    posts: 648

    Ik heb even bij mij gekeken. Volgens mij heb ik de verklaring.

    Dit zie ik zonder camera witbalans:

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/WhiteLedPanel-FLAT_TV16s_200iso-colorAndHistogram.jpg

    Met camera wit balans, in de screenshot zie je links dat ik camera witbalans aan heb gezet, ik kan ook de multipliers opzoeken ter bevestiging. De histogrammen zijn nu in ieder geval wel hetzelfde als in jouw screenshot:

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/WitPanelCameraWhiteBalanceLinear.jpg

    Of te wel, PI neemt de camera wit balans over. Dat wil je normaal gesproken niet. Dat is niet hoe de sensor de wereld ziet. Het gaat altijd ten koste van data die aan de rechterkant uit het histogram wordt gegooid, want de multipliers zijn bij wit balans altijd 1 of groter. zonder wit balans zijn ze 1 namelijk.

    En verklaring voor verschil in hoogte van histogram pieken, komt door log stretch in histogram lijkt het, dit zie ik zonder log:

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/WitPanelCameraWhiteBalanceLinear-nonLogHistogram.jpg

    Deze R,G,B, multipliers staan in FLAT_Tv16s_200iso_20161015-08h38m10s753ms.CR2 voor de camera witbalans:

    R = 2024.0 /1024  = 1,98

    G1 = 1024.0 /1024 = 1

    G2 = 1024.0 /1024 = 1

    B = 1691.0 / 1024 = 1,65

    Dus dat verklaard zeker het verschil als ik dit zo zie. R wordt 1,98x versterkt door WB setting… B 1,65x. Ik hoop dat je dat wel netjes kan uitzetten ergens.

    Voor de leuk een screenshot uit ontwikkel omgeving,

    http://www.bulapedia.nl/images/flatCalibrationUsingDifferentFlats/CameraWBOuput.jpg

    midden boven in de code zie je

    MatrixOperations.printVectorToOutput(RGGBasShot, “multi”);

    en in de console onderaan, zie je:

    multi
    2024.0 1024.0 1024.0 1691.0

    Een van de voordelen, van het schrijven van eigen raw converters 😉

    • 1 person likes this.
    #9376

    Groenewold
    Moderator
    posts: 1155

    Dit is zo ontzettend interessant allemaal, een dusdanige wetenschappelijke aanpak ben ik nog nooit in deze hobby tegengekomen @bula. 😉 Je gaat mij echter toch niet vertellen dat al mijn opgedane PI kennis straks op de vuilnisbeld kan toch? Ik hoop dat buiten de calibratie-issues, de rest nog wel redelijk ok is.

    #9382

    Haverkamp
    Participant
    posts: 648

    @supernov, volgens mij werken er veel mensen met pixinsight omdat het goed werkt lijkt me. ( maar het kan natuurlijk altijd beter… 😉 )

    #9384

    KeesScherer
    Participant
    posts: 1386

    Poeh, dat was even zoeken maar gevonden! M.b.v. Inside Pixinsight via de format explorer. Inderdaad, daar staat de in camera white balance aangevinkt…… Maar, wanneer ik die uitvink blijft de opname na opening net zo rood……..

    #9386

    Haverkamp
    Participant
    posts: 648

    Even doordenkend over dit verhaal, verschillende camera’s hebben verschillende sensoren die dus een zogenaamd wit led panel verschillend zullen zien. Een correcte WB setting zou ze wit maken, maar het gaat natuurlijk om wat de sensor ziet voor onze foto’s.  Dus een wit led panel adverteren als zijnde het beste wat je kan doen voor flat calibratie is een broodje aap lijkt me. (Ik heb ook al laten zien dat de uitkomsten met totaal verschillende flats qua kleur niks uitmaakt.)

    #9387

    Haverkamp
    Participant
    posts: 648

    Uh, misschien door de cache waarmee PI werkt?

    #9391

    KeesScherer
    Participant
    posts: 1386

    Uh, misschien door de cache waarmee PI werkt?

    Nee, er is wel degelijk verschil, maar in beide gevallen is de flat rood na opening. Bij de unchecked “use in camera white balance” zijn de waarden voor R.G. en B totaal anders (R max 9389 is voor de “in camera white balance versie”

    #9392

    Haverkamp
    Participant
    posts: 648

    Misschien vinkje alleen aanzetten bij: no white balance ?

    #9394

    KeesScherer
    Participant
    posts: 1386

    Dat is hem! Nu is de witte flat met de astrogemodificeerde camera groen……….. (en ik ben op het punt dat ik even afhaak, want ik snap er even helemaal niets meer van…..)  EDIT: Om 03:00 viel het kwartje… RGGB heeft natuurlijk 2 x zoveel groen, dus is de weergave van “wit” door de sensor groenig.

    #9395

    Van den Broek
    Participant
    posts: 99

    Uiteraard heeft dit impact, heb dat al een tijdje geleden bewezen …

    Ik had de issue dat sky flats blauw waren en dus eigenlijk in het resultaat blauw naar beneden drukt en rood versterkt, de test die ik hier poste gaf dit duidelijk aan. Oplossing was dat ik een 5×5 median deed op raw, dan was ruis pak minder en de kleur kanalen liggen dan perfect op elkaar, en kan ik rustig skaflats blijven gebruiken, want zeker met een flat panel is het maken van flats met een reflector onbegonnen werk …

Viewing 15 posts - 1 through 15 (of 77 total)

You need to log in or to reply to this topic.