[romh]

Am tot cautat ceva librarii sau proiecte folosite de comunitatea de astronomi. Am gasit pt python proiectul asta numit astropy. E dezvoltat de diverse personaje de la diferite universitati. In mare parte sunt wrapere care depind de alte librarii ca numpy sau scipy, dar sunt si niste lucruri specifice domeniului.

Este format din mai multe submodule, pachete mentinute de echipe diferite.

- o colectie de pachete este dedicata constantelor (viteza luminii, raza pamantului samd), librarii diverse pentru conversie si formatare timp la diferite zone, unitati de masura, coordonate(ra/dec sau altaz+rotatie plus conversie). Pare comod de apelat o constanta dupa nume in loc sa o definesti de fiecare data.

- niste librarii pentru modelare sau wrappere de la librarii dependente… Mai mult regresii liniare din ce am vazut.

- pentru structuri de date avem ceva numit Nddata - un fel de sir n dimensional care poate sa tina cam orice tip de date. Mai avem ceva numit DataTable - util de folosit cand e vorba de incarcat date dintr-un fisier fits si de prelucrat/sortat/filtrat sub forma de tabel.

- exista niste librarii pt citire/scriere nu foarte diferite de libraria implicita io dar standardizeaza ceva legat de formatul fisierelor, iti permite sa citesti un fisier fits direct intr-un datatable fara sa iti bati capul cu parsarea care imi imaginez ca este anevoioasa.

- o librarie cu statistici, niste intervale de incredere, distributii poisson si alte lucruri pe care nu le inteleg momentan. Exista o librarie de convolutii cu transformate fourier, filtre gausiene si alte lucruri. Exista o librarie care automatizeaza downloadul de date de la nu stiu ce website IERS cu date despre rotatia pamantului…

Si cam asta este un sumar foarte succint. Nu cred ca o sa folosesc prea curand dar mi s-a parut interesant ca multe din librariile mentionate sunt o abstractizare in jurul acestui format numit fits pe care nu l-am prea intalnit pana acum.

Referitor la prelucrarea imaginilor nu am vazut nimic special - imaginile inca sunt tratate ca simple matrici pe care le aduni daca vrei sa le stivuiesti. Dar sunt niste librarii care te ajuta de exemplu sa adaugi un grid cu coordonatele galactice peste poza, reiesind doar din metadatele fits.

Mai mult un proiect care sa standardizeze lucrul astronomilor profesionisti care prelucreaza date de la jwst sau alte observatoare....

____________
https://www.astropy.org/

[romh]

Colectia asta de librarii nu e chiar asa de inutila. O sa incerc sa pun niste exemple cu tot felul de experimente pe care le fac si care sper ca pot fi utile pentru alti amatori. Iar notebookurile sunt simple tutoriale gasite online si adaptate un pic la nevoile unui amator.

Fotometrie

Este procesul de masurare a intensitatii si luminozitatii printre altele si pentru calculul magnitudinii aparente
Vom folosi libraria Photutils din colectia Astropy pentru a identifica stelele dintr-o poza jpeg si apoi vom plota si coordonatele acestei stele.

Utilitate:

- Extragerea de informatii din pozele astronomilor amatori
- Detectarea de duble
- Calculul magnitudinii aparente

Principala provocare o reprezinta faptul ca nu lucrez .. inca cu poze fips. E un format pe care trebuie sa il inteleg mai bine. Dar am vrut sa iau o poza jpeg facuta cu telefonul acum ceva timp si sa vad daca reusesc sa extrag stelele. As putea sa fac ceva simplu dar libraria de mai sus deja foloseste niste modele citate de tipi de la nasa... imi imaginez ca e mai buna decat orice pot sa inventez eu.

Notebookul Jupyter se gaseste aici, puteti sa rulati toate celulele si sa le analizati dupa
https://colab.research.google.com/drive/1a...sp=sharing

Modelul de detectie se numeste daostarfinder. pare sa fie cel putin 3 alte modele.

[nobody]

Probabil imaginea trebuie curatata si calibrata.
La ce limitari CMOS te referi ?

[romh]

Salut

De cred ca e o problema cu magnitudinile pt cmos - cand am citit recent cate ceva despre diferentele ccd/cmos am vazut ca cmos are cate un adc nu foarte performant pe fiecare linie orizontala de celule fotosensitive. Diferentele de calitate intre atatea adc-uri pot rezulta in luminozitati diferite de la o linie la alta.

Dar... poate m-am grabit cu concluzia. Uite aici e poza originala

https://drive.google.com/uc?id=17wZCqWSwADyTLr9UuKDq7O62pZ5zmRtx

Ar trebui sa fie o poza cu Arcturus pe care am luat-o cu tlefonul la primele observatii - e steaua mare din mijloc. Am actualizat notebookul ca sa imi ploteze stelele cu cele mai mari 5 magnitudini sau ma rog... ce este aperture_sum ... trebuie sa mai citesc.

Cea mai stralucitoare este intr-adevar Arcturus, apoi imi ia niste stele din coltul dreapta... Si aici cred ca ai dreptate - aduna poluarea luminoasa la acele stele, sau cel putin asa mi se pare... Am nevoie sa filtrez poluarea luminoasa din soft.

Pana acum singurul filtru necesar pt poze este alb-negru. Poza este salvata in alb-negru apoi culorile sunt inversate apoi este extrasa media din matricea originala, apoi este aplicat acel algoritm dao. Deci exista deja un pic de filtrare si pregatire, mai mult nu este necesar din ce am citit sumar in documentatie.

Sau poate fi vorba de parametrii pe care ii dau acestui model dao - fwhm si threshold... Mai experimentez...

[nobody]

Poza originala din link are doar 54 KB ?

[romh]

Da, are tocmai 54 kb ...

Ca sa scap de poluarea luminoasa am aplicat un filtru de blur gausian apoi am scazut matricea rezultata din matricea originala.

matricea originala
https://drive.google.com/file/d/1e-o9nQ99F...share_link

matricea blurata
https://drive.google.com/file/d/1YdV3stUeZ...share_link

matricea oringala - matrice blurata
https://drive.google.com/file/d/15ipQHW_rJ...share_link

Atasez stelele identificate mai jos. Cu cat mai mare este dimensiunea matricei de blur cu atat mai putine stele vad... Si da, poluarea a disparut, dar impreuna cu ea si stelele care au fost mascate de poluare...

Stelele astea 5... tinand cont ca imaginea e cu susul in jos.
Arcturus e cea din mijloc, apoi cu el in linie dreapta Epsilon Bootis si Delta Bootis. Apoi sus se vede cred ca Alphecca din Corona Borealis. Iar langa Arcturus in dreapta nu stiu ce stea e aia. Nu corespunde la nimic din ce vad pe stelarium.

[Erwin]

Într-adevăr, astropy este destinată în primul rând uzului profesional. Există o mulțime de aplicații ale formatului FIT(S) în știință în general, pot fi stocate date numerice de la diverse instrumente, nu numai imagini de la camere. În HEADER sunt date despre: autor, instituție, instrumentul cu care au fost obținute, timpul, diferite caracteristici etc. Headerul poate fi extins după nevoi și există unele care nu respectă întru-totul standardele. În zona a doua numită DATA este un array (matrice) uni sau multi-dimensională, imaginile au de obicei 2 dimensiuni dar se pot folosi și 3D sau chiar mai mult. Am folosit pyFITS pentru manevrarea imaginilor FITS cu care am lucrat. Mai sunt și alte colecții de biblioteci utile, mai folosim de exemplu sunpy pentru Soare. Multe dintre ele se folosesc pentru prelucrarea imaginilor de la observatoarele aflate pe sateliți așa că au o destinație precisă.

Avantajul python este că e gratuit și înlocuiește cu succes IDL-ul care costă o căruță de bani pe an o singură licență. Treptat s-au construit biblioteci de funcții care emulează funcțiile disponibile în IDL și care sunt accesibile oricui.

[romh]

Am revenit la Astropy dupa o lunga pauza... Astropy nu contine libraria libwcs din packetul obsolete wcstools, ci alta librarie mai moderna numita wcslib. Practic, setul asta academic de librarii, care este in domeniul public, contine tot ce ar trebui sa am ca sa detectez intrusi in fotografiile FITS. Si de data asta avand niste fisiere fits cu asteroizi la dispozitie, am decis sa reiau testele cu astropy.

Totul a fost realizat cu relativ putine linii de cod. Un simplu exemplu poate fi gasit aici.
https://gist.github.com/rgherta/0b03301cc8c58fb1980830bcae1b2ece

In primul rand am vrut sa plotez imaginea. Prima alegere python ar fi matplotlib, dar asta inseamna sa aplici multe artificii sintactice doar ca sa plotezi coordonatele in sistem celest etc. Am realizat ca ceea ce matplotlb facea cu 10 linii, pachetul APLPY poate face cu 2, asa ca asta am folosit intr-un final.

Odata imaginea afisata, este util de detectat stelele, ceea ce am vazut numit in documentatie "centroizi"... Aici am folosit DAOStarFinder() despre care am scris mai sus. Este o metoda interesanta, dar sunt si alte fucntii de detectie stele in aceasta librarie, care probabil merita mai multa atentie pe viitor...

Functia de mai sus o sa returneze o lista de centroizi in coordonate pixeli x,y. Mai departe aceste coordonate trebuie transformate in sistem WCS. Aici gasim niste metode numite pix2world si world2pix. Denumirea s-a pastra istoric de la utilitarele wcstools. pix2world face aceasta transformare in functie de datele din headerul WCS al fisierului FITS, de exemplu epoca sau sistemul de referinta. Sistemul de referinta in care are loc aceastra transformare este important. WCS este generic, insa are cateva sisteme de referinta predefinite sau builtin. ICRS, GCRS, Galactic etc merita mentionate. ICRS din cate am citit nu este sistemul propriu al telescopului ci un sistem heliocentric, foarte apropiat, pana la 0,1 arcsec de sistemul de referinta geocentric. O provocare aici este transformarea dintr-un sistem in altul, inclusiv propagarea de epoca de la 2000 la 2016 pt Gaia din cate am vazut. Pt un amator partea buna este ca libraria are multe functii predefinite care fac anume asta. Odata coordonatele convertite in ra,dec urmeaza plotarea lor pe grafic, intr-o anumita culoare, galben de exemplu.

Urmeaza interogarea bazei de date online GAIA pt a obtine toate stelele de pe o raza de jumatate de grad de exemplu. Jumatate de grad departare de un pixel numit pixel de referinta. Acesta se gaseste in headerul fisierului FITS numit CRPIX si CRVAL. Putem plota acest pixel de referinta in culoarea verde, si vedem ca in cazul asta este chiar centrul campului.

Interogarea GAIA se poate face sincron ca in exemplul asta, insa rezultatul este limitat la 2000 de stele sau cred ca avea si valoare in KB. Pentru interogari mai performante, trebuie efectuate interogari asyncrone, si asta mai presupune o bucla while, dar este posibil. Partea urata este ca aceste interogari asincrone se pastreaza in baza de date gaia si poate polua.

Odata rezultatele primite, avem o lista de stele, cu numarul de referinta si coordonatele radec in epoca 2016 (important). Le putem plota in culoarea rosie de exemplu.

Pentru a returna rezultatele in epoca 2000 pt comparare cu simbad de exemplu, sunt anumite tutoriale . Am lasat epoca 2016 ca sa fie mai inteligibile queriurile si sa am o mica diferenta vizibila intre cerucirle rosii si cele galbene.

Fisierul fits reprezinta asteroidul EVA fotografiat in Mai si este deja platesolved, altfel nu aveam pixelii de referina si valoarea corespunzatoare in radec.

In continuare putem analiza rezultate. Se observa pixelul de referinta(verde). Se observa cum asteroidul a fost detectat de algoritmul daostarfinder(galben) dar nu apare in lista returnata de gaia(albastru). In dreapta jos gasim steaua HD127987 . Aceasta apare in lista Gaia, dar nu a fost detectata de Daostarfinder, probabil pt ca nu este foarte circulara, pt ca apare la margine, de asta zic ca e nevoie de alta metoda de detectie centroizi sau niste filtre de aplicat. Mai sunt tot felul de puncte albe care nu apar in lista Gaia fie pt ca eu am pus limita de magnitudine <17 in interogare, fie sunt tot felul de artefacte, care probabil pot fi indepartate. Imi amintesc ca erau in folderul NINA niste fisiere de zgomot alb, dar nu le-am salvat.

Chatgpt poate ajuta la unele chestii, dar nu face minuni, api-urile se schimba, acus o sa apara si DR4... cele mai sigure sunt comentariile din codul sursa, pe baza carora este generata si documentatia.

Deci detectia intrusilor in fotografii poate di realziata doar cu astropy, asta ramane o librarie de referinta si probabil in lumea academica se lucreaza cu astfel de scripturi individualizate pt ca ofera libertate mare de customizare. Pentru publicul larg, mine inclusiv, sunt mai utile programele grafice cu drag and drop. O sa scriu in curand un pic despre ASTAP si cum face acelasi lucru ca cel discutat aici dar mult mai usor si rapid de folosit si cu drag and drop si alte posibilitati.

.... Pt familiarizare cu astropy... Un exemplu interesant de urmat este de luat un fisier fits cu o stea cunoscuta, de gasit coordonatele acestei stele in pixeli, apoi de convertit aceste coorodnate in coordonate celeste apoi de comparat aceste coordonate cu cele din SIMBAD. Folosind aceeasi librarie coordonatele pot fi transformate in sistemele de referinta FK4, Gal, ICRS iar rezultatele pot fi comparate cu cele de pe SIMBAD din marginea stanga. Apoi se poate incerca propagare de epoca spre 2016 si de comparat aceiaisi stea cu rezultatele returnate de GAIA.... Cred ca de aici trebuia sa incep eu...

Un sfarsit de weekend fain

[romh]

Am propagat totusi resultatele DR3 spre epoca 2000. Dar marea diferenta a venit de la parametrii functiei de detectie centroizi. I-am ajustat mai mult cu trial and error si deocamdata vad ca imi detecteaza corect centorizii. O sa refac testele cu poze mai bune, poate cu expunere de 20s de data asta.

[varadinagypal]

"format numit fits pe care nu l-am prea intalnit pana acum"

format folosit in imagistica in general, unde fidelitatea datelor e cruciala, si apoi se randeaza pentru vizualizare, si folosit pentru portabilitate.

Majortitatea formatelor cu care ne intalnim sunt menite pentru a vizualiza, nu pentru a masura si a retine citirile. Formatele "raw" din DSLR-uri nu sunt chiar raw, era scandal cu Nikon din cauza asta, de pilda. Doar un exemplu. Plus ca sunt proprietare si fiecare in gradina lui, walled garden.

in Hubble Legacy Archive, iata un link spre M13, avem ocazia sa vedem mizeria ce se inregistreaza, si apoi trebuie calibrata si curatata. Cand un proton se izbeste de senzor, vezi tu ce dara face.

tiff e un compromis acceptabil de multe ori, cu cei 16 biti ai lui, iar PI si-a introdus ceva format propriu, dar ei sunt axati pe eye-candy-ficarea hobby-ului, aspect care pe unii ca mine lasa destul de rece, ba chiar provoaca oripilare.

https://hla.stsci.edu/hlaview.html#Inventory|filterText%3D%24filterTypes%3D|query_string=16%2B41%2B41.28%2B%2B36%2B27%2B36%20r%3D0.01d&posfilename=&poslocalname=&posfilecount=&listdelimiter=whitespace&listformat=degrees&RA=250.422000&Dec=36.460000&Radius=0.01&inst-control=all&inst=ACS&inst=ACSGrism&inst=WFC3&inst=WFPC2&inst=NICMOS&inst=NICGRISM&inst=COS&inst=WFPC2-PC&inst=STIS&inst=FOS&inst=GHRS&imagetype=exposure&prop_id=&spectral_elt=&proprietary=both&preview=1&output_size=256&cutout_size=12.8|ra=&dec=&sr=&level=&image=&inst=ACS%2CACSGrism%2CWFC3%2CWFPC2%2CNICMOS%2CNICGRISM%2CCOS%2CWFPC2-PC%2CSTIS%2CFOS%2CGHRS&ds=

[varadinagypal]

Legat de mesajele din privat, 2MASS etc, raspund public ca e de interes: bazele de date individuale, precum WISE sau 2MASS etc, sunt interesante, dar nicidecum complete, pentru a identifica obiecte. Unu la mana, Rosetta a fost confundat cu un asteroid, cand se apropia de Pamant, deci se intampla si la case mai mari, doi la mana, aladin si simbad sunt tot in ograda lor de a identifica dupa nume, catalog sau eventual coordonate.

Va recomand VizieR, unde putem cauta dupa coordonate intr-o tona de date.

De mentionat insa ca unele poze de amatori au ajuns deja la un nivel asa exhaustiv in ceea ce priveste adancimea si detaliile incat s-ar putea ca o pata de lumina, galaxie cica, sa nu apara altfel in aceste base de date, decat "non-stellar" si "confirmat pe opt placi" sau ceva de genul, si deci fara identificator propriu dincolo de cel "asignat din oficiu" CATALOG-J2000 sau ceva.

https://vizier.cds.unistra.fr/viz-bin/VizieR

[varadinagypal]

in alta ordine de idei, cand imi scriam licenta, am dedicat cateva paragrafe stelelor cu miscare proprie foarte mare, care astfel apar ca puncte colorate si distincte, ba chiar mai multe puncte distincte, in functie de care si cate placi s-au folosit din ce perioada, pentru a asambla poza finala, cum ar fi Digitized Sky Survey.

[romh]

In poza de mai sus se observa 3 puncte galbene sub asteroid(verzui din cauza transparentei alpha) care nu au fost identificate in catalogul Gaia pt ca acest catalog contine doar stele. Punctele cu pricina sunt sau galaxii sau obiecte din catalogul 2MASS. E totusi mai util sa verifici 3 puncte dubioase decat o mie. Sau poti sa faci o interograre suplimentare la aceste cataloage deepsky...


Sunt de acord ca sunt cataloage bune pe siturile CDS. Aceste cataloage sunt doar o lista de coordonate si inca niste informatii.

Sa rezolvi o imagine fits nu poti pe vizier din ce stiu eu... Iar aladin, care am aflat ca este de fapt un layer inferior pt esa.sky.int pe care il utilizam, aladin creaza un cer virtual fara sa stie ce masuratori ai facut tu cu o camera modesta in curtea din spate.

Rezolvarea astrometrica(platesolving) a unei imagini fits se face de softwareuri specializate care utilizeaza cataloagele sus-mentionate(sau altele). Nici unul dintre aceste cataloage nu este complet asa cum este sau doreste sa fie Gaia, nu are atat de multe stele, verificate prin masurari an de an din cate am citit, pana la mag25. Multe nove au magnitudini mai mici, aici din nou e un caz particular interesant, eu ma gandeam initial la asteroizi... Tacticile actuale de detectie asteroizi mi se par niste trucuri de magicieni decat abordare hardcore...

Dupa cum spuneam in alta parte, nu sunt multe softwareuri de platesolving gratuite. Nova.astrometry.net este unul din ele. In acest moment nu foloseste baza gaia sau doar experimenteaza cu ea. Astrometry imi detecteaza doar cateva stele in imaginea de mai sus... ASTAP inca experimenteaza dar sunt impresionat pt un program facut in pasca.... Altele sunt software-uri comerciale. Poate ca exista si altceva despre care inca nu am citit.

Deci ideea de la care am pornit, este sa fac o poza cu telescopul propriu/remote sau sa iau o poza facuta de unii din voi, ca am mai facut asta pe aici, sa fac plate-solving cu ce am disponibil in domeniul public adica astrometry.net si astap, apoi sa fac o interogare suplimentare la catalogul gaia.... restul punctelor dubioase la pot verifica manual sau cu niste interogari suplimentare... dupa cum s-a vazut in cazul asta, nu sunt multe.

In rest, despre 2MASS trebuie sa mai citesc. Am intalnit layerele DSS pe esasky/aladin, nu stium cum au fost generate, o sa citesc.

[varadinagypal]

healpix, printre altele. Ideea e ca ai la dispozitie o tona de date si cataloage.

ai probleme discrete:
- detectie de obiecte intr-o poza
- detectie de obiecte care se misca intre doua poze suprapuse, vezi blink comparator
- plate solving, corelarea pixelilor la coordonate ceresti
- eliminarea obiectelor cunoscute, pe baza cataloagelor

e fals ca GAIA ar aveai doar stele. GAIA a inregistrat ce a putut, si apoi o sa fie erorile de detectie, quasari , galaxii eliptice, nuclee de spirale etc etc https://www.aanda.org/articles/aa/full_htm...14-14.html

nu inteleg care e faza cu pascal -- e mai tare decat C in ceea ce priveste limbajul in sine, iar ca si viteza de rulare si marime de binar, e pe la acelasi nivel. A esuat la nivel de industrie, fiin'ca. Nu are librarii pentru embedded, altfel foloseam in loc de C sau C++, cum preferam si Ada in loc de codul "smart" (de fapt retardat rau) scris de niste mari guru de a lu mami (retardatei care de trei decenii nu si-au pus manuta pe literatura, si nici inainte). Ersatz Obsi, partea de desktop l-am scris in pascal / lazarus. Cartes du Ciel e scris in pascal, https://en.wikipedia.org/wiki/Cartes_du_Ciel Total Commander aka Windows Commander, https://en.wikipedia.org/wiki/HNSKY

[romh]

Eu cred ca o discutie concreta pe niste poze mai calitative o sa fie interesanta. Pana atunci sunt deacord cu ce ai scris mai sus. Poti sa elimini stelele incepand cu cataloagele faimoase sau simbad, apoi ce ramane cu gaia samd.. Ce ramane - si daca e asteroid nova sau nucleu galactic, asta cred ca ar fi o discutie interesanta.