Introductie van Astro Pixel Processor

Iedere amateur astronoom/astrofotograaf is bekend met gespecialiseerde software, bijvoorbeeld Autostakkert 2 voor planetair werk of Pixinsight voor deepsky (DSO) image bewerking. Binnenkort staat er een nieuwe ster aan het firmament: Astro Pixel Processor.

Iedere amateur astronoom kent de frustratie van te ingewikkelde software of niet langer onderhouden software en de noodzaak om in bepaalde gevallen combinaties van software pakketten te moeten gebruiken. En het is ook niet iedere dag dat een amateur astronoom, Mabula Haverkamp, besluit om zijn eigen platform onafhankelijke Deep Sky Image Processing software pakket te ontwikkelen …

 Wie is Mabula Haverkamp?

Mabula, geboren op 10 april 1977 te Ndala (Tanzania) heeft een doctorandus/Master of Science graad in de Sterrenkunde, Universiteit Utrecht 2004 en is afgestudeerd in de richting zonnefysica. Zijn afstudeeronderzoek betrof een uitgebreide analyse van Dutch Open Telescope data en en het heeft geleid tot een goed geciteerde wetenschappelijke publicatie (Magnetic patches in internetwork areas).

Na zijn afstuderen is Mabula het bedrijfsleven in gegaan, waar hij een aantal jaar in de financiële wereld gewerkt heeft. Later heeft hij de overstap gemaakt naar de IT sector en is hij als middleware consultant werkzaam geweest. Een paar jaar geleden heeft hij de Sterrenkunde weer opgepakt, dit maal als hobby, en kocht hij  zijn eerste eigen telescoop en montering. Mabula werd al snel erg enthousiast over met name de DeepSky astrofotografie, maar visueel waarnemen doet hij zeker ook nog steeds af en toe, “.. dat blijft prachtig!” zegt hij.

Astro Pixel Processor (APP) by Aries Productions

De ontwikkeling is begonnen omdat Mabula na zijn eerste ervaringen met DeepSkyStacker (DSS) al snel het idee kreeg dat hij mogelijk zelf een betere applicatie kon ontwikkelen, met meer opties en betere onderliggende techniek.

Mabula zegt hierzelf over:

“Dit omdat ik zelf een wetenschappelijke achtergrond in de Sterrenkunde heb, en ik in mijn studie ook uitvoerig heb leren programmeren. Dat is dan met name analytisch programmeren om complexe fysische problemen op te lossen met hulp van de computer. Bovendien leek het me erg leuk om zelf goed te weten wat er precies allemaal met de data gebeurd of moet gebeuren om tot een zo mooi mogelijke eindplaat te komen. Dat is erg veel eigenlijk kwam ik achter…

Ik heb tijdens de ontwikkeling uitvoerig bestudeerd wat commerciële programma’s zoals Pixinsight, Nebulosity en CCD Stack voor een mogelijkheden bieden en ik heb daarnaast een grote berg wetenschappelijke artikelen en boeken bestudeerd om mijzelf de benodigde kennis en technieken eigen te maken.

Een van de hoofddoelen was en is nog steeds om het gebruikersvriendelijk te houden en niet te complex te maken. Maar vanwege alle mogelijkheden en stappen die gemaakt kunnen worden, is dat zeker lastig. Astrofotografie is een hele specialistisch vorm van fotografie, maar ik hoop dat ik met APP de leercurve voor veel fotografen minder steil kan maken, met als resultaat, dat ze mogelijk sneller tot mooie eindfoto’s kunnen komen. Uiteraard kan de ervaren fotograaf helemaal los gaan met alle mogelijkheden die APP biedt, want die zijn inmiddels al erg uitgebreid.

Een ander hoofddoel is om het programma volledig platform onafhankelijk te maken, zodat het programma op Linux, Unix, MacOS of Windows precies hetzelfde werkt.”

Image support

Het gemak van APP begint met de flexibele raw conversie module. De applicatie heeft op dit moment support voor FITS, Canon CR2, Nikon NEF, TIFF en JPG, in alle mogelijke bitdieptes voor FITS en TIFF. Mabula heeft zelf de raw conversie modules geschreven voor de CR2 en NEF bestanden waardoor zijn applicatie niet afhankelijk is van dcraw zoals bijvoorbeeld DeepSkyStacker en PixInsight. Andere raw formaten zoals die van Sony of Pentax zullen binnenkort geïmplementeerd worden, want daar zit nu hoge prioriteit op, verzekerd Mabula. En gewone formaten zoals BMP of PNG kunnen op verzoek ook zeker geïmplementeerd worden.

Tevens biedt zijn applicatie volledig support voor kleur management met ICC profielen, dus plaatjes worden netjes opgeslagen met ICC profielen mits opgeslagen in TIFF of JPG en de benodigde conversies tussen de verschillende kleurruimtes gaan automatisch.

Image registration

Een cruciaal onderdeel van elk stack/data-integratie programma is de registratie module. Die is verantwoordelijk voor het zo precies mogelijk uitlijnen van alle opnames tot een hopelijk naadloos en scherp geheel.

De registratie module van APP is zeer ver doorontwikkeld en gaat qua mogelijkheden en precisie misschien een hele stap verder dan wat de huidige programma’s zoals Registar en Pixinsight kunnen. Registar wordt al lang en door velen gezien als verreweg het beste programma om opnames te registreren. Met de komst van APP hoopt Mabula, dat ingewikkelde registratie problemen voortaan probleemloos en automatisch worden opgelost en dat het maken van grote en ingewikkelde mosaicen voor iedereen mogelijk wordt middels de druk op slechts één knop (geen complexe en uitgebreide workflow benodigd in APP)!

Het programma neemt alle ingewikkelde stappen volledig voor zijn eigen rekening. Mabula geeft aan, dat de ontwikkeling van deze module alleen mogelijk is geweest door de geweldige hulp van veel Nederlandse, Belgische en ook astrofotografen buiten de Benelux, die bereid waren om hun data te delen, zodat alle mogelijke combinaties van opnames inmiddels breed en uitvoerig getest zijn.

Opnames registreren van verschillende camera’s en telescopen, en dus verschillende beeldschalen, is voor APP geen probleem.

Een voorbeeld van een extreem ingewikkelde registratie situatie die APP nu met succes kan verwerken is het afgelopen jaar aangeleverd aan Mabula door niemand minder dan de Amerikaanse astrofotograaf Scott Rosen, “Astronomers do it in the dark”.

Scott Rosen heeft foto’s gemaakt van het noordelijk halfrond in een grote cirkel om Polaris, de poolster, heen. 30 opnames zijn in onderstaande foto gecombineerd tot 1 geheel. Deze situatie is extreem vanwege het korte brandpunt, de sterke optische vervorming die in de 50mm lens zit en de mate van overlap tussen alle foto’s. Sommige foto’s hebben op sommige plekken wel overlap met 10 andere foto’s. En APP kan dit helemaal automatisch registreren.

APP is ook uitstekend te gebruiken in combinatie met andere software zoals DSS en PixInsight.

Quote van Scott Rosen over onderstaande foto, die in werkelijkheid zo’n 16000×15000 = 240 MegaPixels beslaat:

“The registration looks absolutely perfect. I carefully wandered throughout the image and all the stars look great. I’ve been scratching my head about combining it as well as working on a lot of other images. So, to say the least, your project has given me my very first hope that someday this will be an actual astrophoto! May I congratulate you, as I believe you have managed to mosaic what must be one of the very most challenging data sets ever!”

Vervolgens zijn 12 images met een Canon 6D  rond het initiële 450D beeldveld genomen. Er is bewust geen correctie uitgevoerd voor de mozaïek overgangsgebieden dit om de complexe registratie visueel inzichtelijk te maken. Het gigantische beeldveld toont zelfs een stukje Melkweg bovenaan het mozaïek en onder de Ursa Major.

Registar heeft volgens Mabula, in zo’n ingewikkelde situatie, een referentie foto nodig om tegen aan te registreren. In APP is dit niet nodig waarmee het gehele proces voor de gebruiker makkelijker word gemaakt. De huidige beschikbare programma’s zoals Registar en Pixinsight hebben vaak al al moeite met 15 van de 30 foto’s uitlijnen en vragen heel veel inzicht en geduld van de gebruiker zelf om ermee verder te komen. Omdat APP op een wetenschappelijk correcte manier optische vervorming correctie kan uitrekenen, is het resultaat wetenschappelijk gezien ook correct.

Meer technische informatie en resultaten zijn beschikbaar in de Astro Pixel Processor Beta groep.

Ingewikkelde registratie problemen ontstaan vaak als:

• data van verschillende beeldschalen (verschillende camera’s en/of telescopen) wordt gecombineerd;
• als de brandpunten korter worden;
• als optiek wordt gebruikt met sterke optische vervorming, zoom objectieven hebben dit vrijwel altijd, wide-field objectieven, maar ook normale telescopen kunnen grote vervorming hebben, zeker bij kleine en dus snelle f-ratios;
• als het beeldveld heel groot wordt;
• en natuurlijk bij het maken van mosaicen. APP slaagt er ook in om mosaicen te maken terwijl het referentie frame niet eens in het midden is gekozen bijvoorbeeld.

Wat technische details uit de registratie module:

• niet-gecalibreerde en gecalibreerde homografische projecties worden gebruikt voor de coordinaten transformaties. Gecalibreerd betekent, dat het brandpunt van de opnames gevonden wordt. En ook het principal point, de plek waar de optische as de sensor snijdt, wordt gevonden;
• registratie van frames op basis van patroon herkenning van 3-hoeken, wat bij zeer weinig sterren nuttig is, 4-hoeken die heel robuust en snel zijn bij 500-2500 sterren, en ook nog vijfhoeken, die hun waarde tonen bij ster aantallen tot ver boven de 10.000 in de opnames;
• andere projecties, van de data, dan standaard rectilineair. (bijvoorbeeld equirectangular). Dit is nodig bij beeldvelden die groter zijn dan 120 graden. (denk aan data geschoten met widefield lenzen op camera’s met grote sensoren). Normale objectieven en telescopen hebben allemaal een rectilineair optische ontwerp;

Dit voorbeeld laat zien dat een FoV van meer dan 120° een andere projectie mode benodigd dan de gebruikelijk rectilinear projectie mode. Het bovenstaande voorbeeld is geschoten met een Canon 6D en een Samyang 14mm F/2.8 lens en de light subs zijn gecalibreerd met een Artificial Masterflat gemaakt met APP op basis van één light sub.

• volledig automatische optische vervorming correctie ! D.w.z. correctie van pincushion, barrel distortion of combinaties van beiden (moustache distortion), een unieke functie die andere applicaties zover bekend niet bezitten. De gebruiker behoeft dus geen distortie parameters uit te zoeken of aan het programma te geven. Op basis van slechts 2 foto’s van de sterrenhemel met een iets ander beeldveld, kan APP automatisch de optische vervorming uitrekenen. De gevonden optische vervormings correctie kan ook als camera profiel worden opgeslagen en vervolgens gebruikt worden bij correctie van RAW opnames voor normale fotografie of natuurlijk voor registratie van nieuwe opnames gemaakt met dezelfde camera;

APP heeft in het bovenstaande voorbeeld het Distortion Model berekend en opgeslagen als camera profiel. Dit camera profiel is vervolgens gebruikt om een Raw van een bakstenen muur te corrigeren. APP behoudt alle vastgelegde data door geen pixels te verwijderen aan de randen.

• in mosaic modus worden alle registratie parameters bepaald middels volledige Multiple View Regression algoritmes, zodat het registratie probleem aangepakt wordt als zijnde 1 probleem. Dus een mosaic wordt niet naief opgebouwd door frame na frame tegen een referentie aan te registreren. Dat kan namelijk nooit een optimaal resultaat leveren. Bij een 30-paneels mosaic moeten en kunnen wel 1000 parameters in 1 regressie berekening worden bepaald;
• bij grote mosaicen heeft Astro Pixel Processor geen voorbeeld nodig om tegen aan te registreren (zoals bijvoorbeeld Registar). APP kan dit helemaal zelf oplossen. Voor de gebruiker betekent dit dat het maken van grote mosaicen erg eenvoudig zal worden. Een druk op de knop en het hele mosaic wordt uitgerekend;
• toepassing van Random Sample Consensus ( RANSAC) om foute registratie punten te verwijderen;
• toepassing van kunstmatige intelligentie middels Bayesian Inference om de initiele registratie hypothese optimaal uit te breiden over het hele beeldveld. Dat zorgt vervolgens voor optimale registratie tot in de uiterste hoeken van de opnames;
• snelle en robuuste patroon herkenning in de sterren door een eigen implementatie van K-dimensionale bomen (K-D trees).

Data normalisatie

Als voorbeeld van het aanmaken van naadloze mosaicen m.b.v. multi-band blending en Local Normalization Corrections, zie de onderstaande afbeelding, links puur de mozaïek integratie met normale data normalisatie. In het midden het resultaat na multi-band blending en tenslotte rechts het eindresultaat na multi-band blending en Local Normalization Correction (LNC).

Onderstaande data is van Christian van den Berge. Geschoten, in Namibie, met een APM 107 F6.5 apo + een Riccardi Reducer en een Nikon D600 camera.

LNC is ook nuttig in een normale stack en verbeterd data normalisatie in het gehele beeldveld. Het eindresultaat zal minder stack artefacten tonen als de data in verschillende nachten geschoten is zoals te zien in onderstaande voorbeelden van Barnard’s Loop zoals vastgelegd door Yves van den Broek.

Het verschil tussen de stack zonder LNC en met toegepaste LNC is duidelijk in de randen zichtbaar, er is meer beeldveld bruikbaar waardoor eventueel croppen beperkt kan worden.

Mabula’s applicatie heeft op moment van schrijven een aantal unieke mogelijkheden:

1. interactief verwijderen van lichtvervuiling (LPC) en vergelijkbaar met het DBE tool van Pixinsight;
2. het aanmaken van Artificial Masterflats op basis van één light sub door vignettering modellering (kang weiss model), wie “vergeten” is flats te schieten, kan naderhand nog goed kunstmatige flats maken mits de vignettering sterker is dan bijvoorbeeld de lichtvervuiling in de data;
3. zeer robuuste statistiek voor bepaling van locatie en dispersie van de histogrammen van de opnames voor optimale normalisatie (waarbij de normalisatie gebeurd middels de vergelijking van gebieden in de foto’s met exact hetzelfde beeldveld, alleen dan is een optimale normalisatie mogelijk want dan worden exact dezelfde histogrammen met elkaar vergeleken, dit is wederom een unieke functie);
4. zelf geschreven demosaic/debayer algoritmes waaronder 1 speciaal ontwikkeld en het unieke Adaptive Airy Disc (AAD) voor onze sterrenfoto’s (dit reduceert de bekende groene zweem in de kleurenfoto’s) en volgens Mabula lost dit het probleem op bij de bron, i.t.t. het verwijderen van de groene zweem naderhand;
5. AAD resulteert t.o.v. het veelgebruikte Bilineair algoritme in een hogere resolutie met een 10-20% reductie van de FWHM waarde. Tevens verwijderd ADD de beruchte groene zweem in OSC data en zijn in het eindresultaat opvallend rondere sterren zichtbaar.

Voorbeelden uit de Astro Pixel Processor Beta groep op starry-night.nl

Op 15 maart 2017 jl. is de APP betagroep van start gegaan. Tot op heden heeft Mabula veel waardevolle terugkoppeling ontvangen over kleine bugs, mogelijke verbeteringen en interessante voorstellen voor nieuwe functionaliteiten. Veel bugs zijn opgelost en de applicatie is beter geworden en meer intuïtief. Enkele voorbeelden van betagroep resultaten:

Andere features van APP zijn:

1. achtergrond calibratie, sterkleur calibratie en Selective color;
2. tool om verschillende filter data te combineren tot 1 plaat met volledig controle over de waardes van locatie en dispersie van de verschillende te combineren data kanalen (dus ook smal band data kan zonder probleem perfect gecombineerd worden tot een kleuren plaat);
3. channel splitter, om RGB data te splitsen in de afzonderlijke kanalen;
4. chromatische abberatie correctie van een stack of de losse subs als onderdeel van calibratie;
5. direct kunnen stacken naar een vooraf gekozen compositie, dwz een crop van het referenceframe, of het referenceframe of een full composition die alle data van alle subs beslaat;
6. direct kunnen stacken naar een andere beeldschaal en verschillende resampling algoritmes waaronder Lanczos;
7. image integration with full drizzle implementation, beeldschaal en drizzle druppels en drizzle kernels kunnen zelf worden gekozen;
8. alle post processing tools werken op 32bits lineaire data, stretchen gebeurd pas als laatste, maar je krijgt altijd wel een gestretchte preview te zien van de stand van de zaken op dat moment;
9. verscherping met bescherming van de sterren;
10. saturatie met bescherming van de achtergrond, dus geen injectie van chromatische ruis in de achtergrond.

Nog niet geïmplementeerd maar wel op de featurelijst staat: deconvolutie en zal na de initiële V1.0 release geimplementeerd worden.

Diepgaandere informatie over de APP workflow is beschikbaar in deze presentatie (10,4mb) zoals gepresenteerd tijdens de Werkgroep Astrofotografie bijeenkomst van 8 april 2017 jl. te Oss.

Resumerend, APP lijkt met recht een nieuwe ster aan het astrofotografie software firmament te worden, met APP is in feite geen enkel ander programma meer benodigd  om van de ruwe data tot een mooi eindresultaat te komen in TIFF of JPG formaat voor publicatie.

De release van APP van Aries Productions zal 1 juni 2017 plaatsvinden, alle informatie over APP kun je lezen op www.astropixelprocessor.com en in de starry-night.nl APP Groep of via deze verzamelpagina voor alle APP topics.

Copyright © starry-night.nl 2017.

Dit artikel is mede tot stand gekomen door uitgebreide input van Mabula Haverkamp en met de hulp van verschillende starry-night.nl leden. Starry-night.nl heeft geen commerciële- of belangen anders dan dat zij het APP initiatief actief ondersteund wegens de unieke aard van dit project. Alle images zijn © zoals vermeld en eerder geupload op starry-night.nl dan wel onderdeel van de development-/betafase zoals aangeleverd door Mabula Haverkamp.