解析ごっこ・検証ごっこ

ダークノイズ減算の謎①(予告編)

★面倒くさい事を成すには『公言』が一番♪
「ダークノイズが消しきれない件」について、ゴソゴソ『検証ごっこ』していて、「手作業で1ピクセルずつポチポチクリックして輝度を測定してはEXCELに打ち込む」のでは気が変になりそう(笑)だったので、潔く国立天文台が公開しているFITSファイル解析ソフト「マカリ」に手を出しました

・・・といっても、複数ピクセルの輝度を(直線上に並んだピクセルなら)一気にCSVに書き出してくれる機能を利用するだけのことですが。


★公言しよう!
『解析ごっこ』途中であぷらなーとが逃げ出すのを防止するため、あえて公言しておくことにしましょう♪
いやー。調べれば調べるほど『難敵』っぽいっす。このダークノイズとかいう輩。

 たぶん、がんばれば近日中に下記のような謎について暫定的結論が出せそう・・・かな?

謎①:「ダークノイズには2種類ある?」
謎②:「ホットピクセルって灯きっぱなしじゃないの?」
謎③:「従来のダーク減算で消しきれないノイズは如何ほど?」
謎④:「手動ダーク減算してもダークノイズが残るのはなぜ?」
謎⑤:「ダークを引くとかえってノイズが増える説の真相は?」
謎⑥:「ダークフレームって何コマぐらい必要なの?」
謎⑦:「従来のダーク減算でもうまく作用することがあるのは何故?」

・・・で目標としては
目標①:現実的なダークファイル使い回し法を確立するぞー♪
目標②:オートガイド無しでなんとかするぞー♪
目標③:長時間露光無しでなんとかするぞー♪
目標④:ディザリング無しでなんとかするぞー♪
目標⑤:σクリップ無しでなんとかするぞー♪
を実現しようっていう『遊び』

わははは。
まさに『邪道の極み』



★本当に『解析ごっこ』進めてますよー(笑)
まだ詳細には言及できないけれど、上記の「謎①」「謎②」の『考察ごっこ』のためにやってる作業途中の絵を恐る恐る公開してみると・・・
ダークノイズ減算の謎①(予告編)_f0346040_05381082.jpg
冷却CMOSカメラASI1600MC-COOLを撮像温度-15℃・ゲイン300・露光30秒で運用した際のダークフレームについて、32個のピクセルについて64コマ分のデータから「各ピクセルのダークノイズがどう分布してるのか」をスキャッタプロットしたのがのグラフ。その結果からノイズの揺らぎ(標準偏差)を求めてノイズの推定輝度を誤差棒付きで表示したのがのグラフ。

この作業だけでも(ザックリと言えば)
 ☆No4のピクセルはホットピクセルっぽい
 ☆No14は一見ホットピクセルに見えるけど統計的有意性がないっぽい
 ☆No21とNo29はクールピクセルかもしれない
 ☆その他のピクセルは『正常』で、ダークノイズがランダムっぽい
とか、色々と面白そうな推論が出てくる訳ですねー。

しかし、これ・・・・冷却CCD全盛時代に長時間露光の試行を元に編み出された(と思われる)各種のノウハウは、冷却CMOS(とか近年のデジタル一眼)を用いた短時間露光+多数枚コンポジットでは根本的に通用しない『気』がしてきた。「ダーク減算」って難しいぞって印象。

ぬう・・・
ダークノイズとやら
敵として不足なしっ!

P.S.
ああ、もう誤差棒とか使ったのって20年ぶりだよ・・・。
若い頃にもう少し勉強(記憶が残る程度まで)しとくんだった(涙)。
そもそも「ライトフレーム上に載ったノイズ」と「ダークフレーム」は別標本なので、検定しないといけないんだろうけど。
あ、現役エンジニアの方とか研究者の方とかは鼻で笑っておられるでしょうが、謎解き遊び自体が楽しいので、まだ『答え』言っちゃダメ、絶対!(笑)


Commented at 2018-10-18 18:07 x
ブログの持ち主だけに見える非公開コメントです。
Commented by kem2017 at 2018-10-18 20:33
また面倒臭そうな事をw
エラーバー長いっすね...
Commented by supernova1987a at 2018-10-18 22:45
> utoさん
お心遣い恐れ入ります♪
やっぱりそうかーって感じですが、少しずつ光が見えてきました。まぁ『読み』が当たっていればの話ですが。
ても、良いところまで迫っててもすり抜けて行かれるかも?でも「それもまた良し」と割り切ってます。
なんとか、自分なりのベストセッティング見いだして見ますので暖かく見守ってください(笑)。
Commented by supernova1987a at 2018-10-18 22:51
> kem2017さん
ね?えらくエラーバーが長いでしょう?
そりゃ普通にやってもダークノイズが完全には消せない訳です。
・・・が、ここからが『変態』あぷらなーとの真骨頂(?)でして、何かを掴んで見せますよー、っと自分でハードル上げてみる(笑)
Commented by kem2017 at 2018-10-19 03:37
エラーバーが長いっては、再現性が低いってコトでしょうから、あらかじめ作っておいた減算用ファイルとか使っても厳しいってコトすよね?
ふと、思うに、クールだのホットだのって、1ピクセルで発生する事象ですよね?
となると、逆にカラーのCMOSだったら、4ピクセルでカラー1ピクセルだから、1カラー相当分の4ピクセルを調べて、4ピクセル中に1ピクセルだけ特異な値だったら、それを無理矢理、他3ピクセルの平均値にしちゃうとか?
天体写真、極端に綺麗な赤やら青やらは無いような気がするので、これやっても、ちょっと色が濁るくらいぢゃないかな?と...
モノクロは持ってないので、知りませ~んw
(今のダーク減算って、周囲との差で消してるんですよね?だったら、同じ結果かな...)
Commented by supernova1987a at 2018-10-19 09:27
> kem2017さん
おおむねそうですね。先日の『手動ダーク減算』はこの誤差を約1/2にするのと同等の効果を生みます。さらに誤差を収束させる方法もあって・・・ですねぇ、これらをやらないと「ダーク減算したらかえってノイズが悪化」ということになるみたい。
ちなみに周囲の輝度差から補正するのがステライメージのホット除去フィルターですが、カラーの場合はベイヤー構造の影響で事情が複雑になります。(まともにやると色情報が消えるので、赤なら赤のピクセルだけで輝度比較する必要があるため)
また、ノイズを消しすぎると像が薄れたりもしますのでなかなか厄介ですね。
いずれにしても、色々と掴めてきました♪
Commented by supernova1987a at 2018-10-19 09:36
> kem2017さん
追記です。

>逆にカラーのCMOSだったら、4ピクセルでカラー1ピクセルだから、1カラー相当分の4ピクセルを調べて、4ピクセル中に1ピクセルだけ特異な値だったら、それを無理矢理、他3ピクセルの平均値にしちゃうとか?

ステライメージのホット除去フィルターでカラー用のオプションチェックボタンがありますよね。これをOFFにするとおおむねその演算になりますが、赤い星雲とか彩度の高い像がごっそり消えちゃいます。
Commented by kem2017 at 2018-10-19 20:41
彩度が、ゴッソリは、嫌ですねぇ
派手好きなので (^o^)
なんで、ゴッソリなのか... 謎ですが、
クールやホットのピクセルって、正常なのと識別しにくい位の値なんですっけ?クールは厳しそうですが、ホットって、明らかにお前目立ってるよね?って値ぢゃないんですっけ?

まぁまぁ、そのくらいなら許してやろうって値と、お前は見過ごせないなぁ...の差が微妙って事が理解できなくて...
Commented by supernova1987a at 2018-10-19 23:47
> kem2017さん
カラーベイヤーのまま(カラー用オプションOFFの)ホット・クール除去フィルターをかけると隣接するRGB各ピクセルの値が同じになるように作用するので、結果として色のないグレーに近くなります。

ちなみに、4個のピクセルのうち明るいRやBは隣接する同色がないためホットピクセルとして認識され、明るいGは同色が隣接するのでその周囲のピクセルをクールピクセルとして認識させる傾向にあるようです。
もちろん、カラー用オプションをONにすれば、このような誤認識は減りますが、あまりノイズが消えません。

なおダーク減算の場合は隣接ピクセルへの影響が皆無なので色は失われませんし、ショットノイズを誤って消すこともないため、なんとかこちらを効かせたいところです。
名前
URL
削除用パスワード
by supernova1987a | 2018-10-18 07:21 | 解析ごっこ・検証ごっこ | Comments(9)

あぷらなーとの写真ブログ


by あぷらなーと
PVアクセスランキング にほんブログ村