あぷらなーと


あぷらなーとの写真ブログ
by あぷらなーと
S M T W T F S
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30 31
あぷらなーと
文系寄りの元理系(?)
「天体」「マクロ」「実験ごっこ」その他諸々の科学写真が大好きな HN:あぷらなーと が いろんな写真ネタをのんびり語ります。あまり気合い入れすぎると続かないので、「ぼちぼち」いきます。
※コメント大歓迎です♪

生息地:香川
カテゴリ
最新のコメント
相変わらず秀逸な記事を量..
by kem2017 at 07:59
わぁー、これがカラーシフ..
by にゃあ at 03:07
> Samさん ありが..
by supernova1987a at 22:46
縮麺ノイズ完全制覇ですね..
by Sam at 22:07
> ゴットハンドさん ..
by supernova1987a at 20:41
美しい~。ノイズの”ノ”..
by ゴットハンド at 20:20
> kem2017さん ..
by supernova1987a at 18:28
お見事! サッポロポテ..
by kem2017 at 16:48
> Te Kureさん ..
by supernova1987a at 13:53
ツィートを拝見して慌てて..
by Te Kure at 09:19
以前の記事
お気に入りブログ

ダーク減算処理についての『不快感』の正体③(結論)

※ご注意※
ヘビのように長いエントリーですが、前半部分は、これまでの旅の「振り返り」です。
『邪道』には『邪道なりの真理』があるわけで、あくまで『別解探しの旅』だという主旨をご理解いただければ(笑)。
「なんで、こんなことにこだわってるの?」
と不思議に思われてる方以外は後半部分にワープしてOKです♪

------前半------ 

★何をそんなに悩んでいたのかというと

「ふっふっふ。往生際の悪いやつだ。『三連装BORG』とか『ビームスプリッタ』とか『クールファイル補正法』とか『リバースパレット法』とか妙ちくりんなことばかりやってないで、潔く王道(長時間露光・オートガイド・ディザリング・シグマクリップ)に墜ちちゃえよー。幸せになるぜ。」

などと、天上から『王道の悪魔』が囁いてくるのですが、どうも沼の奥から『邪道の天使』が励ましてくるんですよねぇ。

「だめ。短時間露光・ノータッチガイド・ノーディザリング・ノーシグマクリップ・・・これこそが清く正しい邪道でしょ?王道に惑わされることなく自分の信じた道を進みなさいな。」

ええ。これまでなんだか釈然としなかったのですよー。だって、フィルム時代と異なりデジタルの時代なら色んな『別解』があっても良いじゃないですか。(演算の過程や順番が異なっていても、同等の結果が得られるという意味で)・・・だったら自分の好きな(自分が楽と思う)流儀で処理したいと思っちゃうんですよねぇ。所詮は趣味だもの

というわけで、王道に墜ちたい欲求をぐっと堪えて、邪道を成就させるための『研究ごっこ』を続けてきたわけですが・・・・。



★短時間露光でもコンポジットすれば長時間露光と大差ない筈
細かいことは置いといて、大局的には「60分露光×1コマでも15秒露光×240コマコンポジット」でも大きな差は出ないはずで、むしろ高輝度部分がサチる可能性やガイドエラーの危険性、そしてシーイングの影響を考えると、むしろ短時間露光+多数枚コンポジットの方が(自分に)有利だと信じてた訳です。・・・で、まずやってみた『検証ごっこ』

冷却CMOSカメラASI1600MC-COOLを用いた「15秒×40コマ」VS「30秒×20コマ」VS「60秒×10コマ」の対決
それぞれの描写は大差ないことを確認♪ 原理的に段階露光の必要性がなく(ビット数が小さな冷却CMOSカメラの弱点を補い)階調が豊かになる短時間露光・多数枚コンポジットを極める方向に舵を切りました



★冷却CCDと異なり、冷却CMOSのビット数は微妙
今でこそSharpCapに輝度分布データのテーブルが保存できる機能が実装されましたが、当初は完全にブラックボックス。
無い知恵を振り絞り「素の輝度分布がどうなってるのか」を解析ツールを自作することで『解析ごっこ』をしてみました。

結局、16ビットFITSモードで撮像した場合は、12ビットの輝度データの間に15カウント分のスキマを入れて『散らしている』ことが判明
また、理論上ありえない値(16の倍数になっていない数値)も(非冷却時には)散見されることも発見。理論上、長時間の1枚撮りよりも短時間の多数枚コンポジットの方が最終的なビット数(階調)を増やせる方向に寄与するだろうと判断しました。(枚数をN倍にすると撮像素子のビット数を log2 N だけアップするのと同じ効果を生むという解釈。)
※最新のSharpCapではこの「スキマ」を詰めた形(下位ビットにスキマを作らず上位ビットに空白を残す)での出力も可能となってます。



★ショットノイズは消しちゃいけない
短時間露光時に画面がザラザラになるのは仕方ないのですが、このザラザラには各種のダークノイズ以外にも貴重なシグナル(ショットノイズ)が含まれているので消しちゃダメな筈だ、というのが持論でした。つまり、ショットノイズは天体から飛んでくるフォトン(光子)の統計的揺らぎを捉えた物であって、多数枚コンポジットした際には像を構成する貴重な部品だという解釈です。この仮説が正しいかどうか確かめるために『考察ごっこ』してみたのが


結果、M27亜鈴状星雲から飛来していると思われる光子のフラックスをオーダーレベルで一致する精度で検出することにも成功しましたので、この仮説は概ね正しいと判断しました。



★ベイヤー配列カラーCMOSカメラでは本来の解像度は出ない
まあ、これはデジカメ黎明期に「フィルムカメラと異なり、デジカメの像はシャッキリしない」と言われていた件と同義なのですが、その要因の1つであるローパスフィルタの影響を避けたとしても(ローパスレスカメラであっても)原理上、画素数通りの解像度は得られない筈。それを確かめるために行った『考察ごっこ』がこちら。

結果、カラーカメラでは画素数の1/4とまでは言いませんが相当な解像度ロスが生じていることを予想。モノクロCMOSカメラとの「サイド・バイ・サイド」で実写テストする『検証ごっこ』を敢行します。

その結果、同じ画素数であっても圧倒的にモノクロカメラの方が解像度が高いことを確認しました。そこから、モノクロCMOSカメラとカラーCMOSカメラを同時稼働させてLRGB一気撮りへと方向性を定めます。そのため、『ビームスプリッタ同時露光装置』や『多連装BORG』などの珍システムを構築するのですが・・・。



★モノクロCMOSカメラの『クールピクセル問題』勃発
カラーCMOSカメラの運用時にも気がついてはいたのですが・・・

このように、いわゆるデッドピクセルに類似した黒点:『クールピクセル』が高輝度部分にも生じていて、これが『黒い縮緬ノイズ』(黒い縞ノイズ)の原因になっていることが推測されました。もっとも、幸か不幸かカラーカメラの場合は先述のベイヤー配列に起因する像のボケが生じますので、それほどの実害は出ていません。ところが、ベイヤーボケが生じないモノクロカメラの場合、像があまりにもシャープであるが故、クールピクセルの影響が露骨に現れます。・・・で、その挙動を『解析ごっこ』してみると・・・

ダークファイル減算でもフラットファイル除算でも回避できそうにない事が示唆されました。

悩みに悩んだ挙げ句、その解消法として苦肉の策:『クールファイル補正法』の開発に至ります。

これにより、クールピクセルによって生じる黒い筋状の『縮緬ノイズ』を押さえ込むことに成功し、降臨した「救世主」:ぴんたんさん がFlatAideProに実装までしてくれたのですが・・・・。



★『白い縮緬ノイズ』が消せないって根本的におかしい!
『クールファイル補正法』によって『黒い縮緬ノイズ』は退治できたのですが、今度は『白い縮緬ノイズ』が目立つようになって、頭を抱えます。(ASI1600MM系の個体差にもよってどちらが目立つかは異なります)その認識論的解釈は『心理的エントロピー』の減少にあるとの珍説を公開し、ディザリングがなぜ効くのかを『考察ごっこ』しましたが・・・

そもそも、『白い縮緬ノイズ』自体が「ダーク減算後に残っている」こと自体が『気色悪い』んですね。だって、これってダーク補正に失敗してるってことじゃないですかー。・・・で、初心に返ってダーク減算処理の過程で何が起こっているのかを『解析ごっこ』してみることに・・・。

その結果、ステライメージ(あくまで6.5のケースですが)のバッチ処理における「ダークファイル補正」には、そもそも原理的な問題点(悪いと言っているのではなくて留意すべき点)があって、ダーク減算時に生じた負の値がカットされていることがダークノイズを消しきれない原因であることが推測されました。


はい
ここまで律儀に読んでくれた方は、お疲れさまでした♪
ここからがいよいよ「本題」ですよー!!

----------後半-----------


★『よく効く』ダーク補正とは?
あぷらなーとが『邪道』を成就するために、どうしても越えないといけない壁、それが「オートガイドもディザリングもシグマクリップも一切使わずに、ダークファイル減算だけで『白い縮緬ノイズ』を退治する」という難問です。
・・・で、ようやく結論が出ました。やはり、「マニュアル操作でダークファイルを引く」が正解のようです。

前にも少し書きましたが、以下にステライメージ6.5の場合の処理詳細を紹介します。

①撮影画像(ライトフレーム)と同じ条件でダークファイルを撮像する
ゲインや露光時間や撮像温度をライトフレームと同じにして暗闇でダークファイルを撮影します。
撮影枚数は「最低でも」ライトフレームと同数、可能なら多ければ多いほど良好な結果を得ます。
※少ない枚数だとランダムノイズの影響やホットピクセルの時間変動の影響を受けて画質が急激に悪化します。
(ライトフレームのコンポジット効果が帳消しになるという意味)

②ダークファイルを加算平均コンポジットする
ステライメージ6.5のバッチ処理メニューからコンポジットを実行します。
f0346040_02162900.jpg
撮影したダークファイルをロードし、パラメータをセット
f0346040_02183897.jpg
合成方法は加算平均、位置合わせは無しにします。シグマクリップは特に使いません。

出来上がったコンポジット画像を保存します。
f0346040_02235226.jpg
ファイル形式は実数32ビットのFITS形式を指定します。
(本当は整数16ビット型にしたいところですが、これで上手く行ってます。まあ、ステライメージの仕様でしょうね。)

③撮影したライトフレームを1コマだけロードする
 ※1コマだけならどのコマでも大丈夫です。

④②で作製したダークファイルをロードする


⑤ライトフレームのウインドウをクリック(フォーカス)する
f0346040_02301117.jpg
※上の図では左がライトフレームなので、これをフォーカスしてアクティブにします

⑥設定メニューからワークフロー指定する
f0346040_02341132.jpg
※この前に必ずライトフレームをフォーカスしておくことに注意してください。

⑦ワークフローにダーク減算処理を記憶させる
まず、ワークフローウィンドウから記録開始を実行
f0346040_02373362.jpg
次に合成メニューからコンポジットを指定する
f0346040_02412343.jpg
コンポジットのパラメータを設定する
f0346040_02493649.jpg

※ウィンドウはダークファイルを選択
※合成方法は減算
※レベル調整は「使わない
※0以下は「切り捨てない(これ、最重要♪)

「ワークフローに追加」ボタンを実行すると処理内容が記憶されます。
f0346040_02542522.jpg
「記録終了」ボタンを押すとワークフローが完成です。

⑧ワークフローをバッチ処理として実行する
「バッチ実行」ボタンを押す
f0346040_02571834.jpg
対象ファイルリストに出ている2つのファイルをリストから削除する
f0346040_02584711.jpg
「ファイルから追加」ボタンを押してライトフレーム全てをロードする
f0346040_03014334.jpg
ファイル追加の処理後保存先を「別のフォルダに保存」にチェックを入れ、「参照」ボタンで任意フォルダを指定する。

「OK」ボタンを押す。

おしまい♪

後は、出来上がったダーク補正済みのライトフレームを位置合わせコンポジットします。

え?
「で、効果の程はいかほどか?」
ですって?



★手動ダーク減算の威力
これはBORG89EDで撮影した北アメリカ星雲のハイライト部分(ASI1600MM-COOL・撮像温度0℃・ゲイン300・30秒露光・ノータッチガイド)を120コマコンポジットしたものですが、従来の手法(自動でダーク補正した場合)の効果はこんな感じです。
f0346040_03120967.jpg
 ※左:ダークファイル補正無し 右:自動でダークファイル補正
ノータッチガイドによる被写体の流れを補正するように位置合わせした結果、『背景』として存在していたダークノイズが流れて盛大な『白い縮緬ノイズ』が発生します。従来の自動ダーク補正でも相当軽減されていますが、それでもまだまだ白いスジが目立ちますね。・・・本来なら撮影時にディザリングしてノイズ自体を拡散させたり、コンポジット前にステライメージの「ホットピクセル除去フィルタ」を作用させたりして軽減すべきものだと思っていたのですが・・・。

今回紹介した『手動ダーク補正法』(って命名するほどのものじゃなくて、単にダーク減算時のマイナス輝度データを大切にした処理)で、それらの処理の代替になり得るかチェックしてみましょう。

では、行きますよ・・・

ででん!!
f0346040_03203455.jpg
 ※左:自動ダークファイル補正 右:今回の手動ダークファイル補正

ぬおーっ!
「ステライメージのホットピクセル除去フィルタ」や「NikCollectionのDefine」や「シルキーピクスのノイズ整列」などを一切使わずしてこの低ノイズっ!!

わ、我ながら・・・・信じられん。

よーし、ではチョッピリNikCollectionのHDR+Defineを掛けて・・・と

f0346040_03474768.jpg
うひゃー!
このカット、実はこんなに良く写っていたのかー。

ふはははは
長時間露光もオートガイドもディザリングもシグマクリップも一切いらぬ!
『邪道』成就の道
 見えたわ!

あ、ごめんなさい。調子に乗りすぎました。
あくまで『別解』ってことで・・・(笑)

★★★★お約束★★★★
①あぷらなーとが保有する3台のASI1600MM系冷却CMOSカメラには色々と個体差があって、それぞれに適した(キモとなる)処理は微妙に異なります。
※MM1号機は『クールファイル補正法』、MM2号機は「バイアス補正」、そしてMMーProは『手動ダーク減算』が今のところ重要なようです。
②例によって、なんらかの勘違いをしている可能性は否定できません。
③本エントリーはステライメージのダーク減算機能を否定する主旨ではありません。
④ステライメージ8は残念ながら持っていません。7は・・・処理が遅いので大量コンポジットには使いたくありません(小声)。
⑤さらなる『別解』として、「撮影時のオフセット設定で輝度を底上げ」「ダーク減算前に輝度値を引き上げ」「ダークファイル作成時だけシグマクリップ」などなどが思いつきますが、まだ実戦していません。
⑥ステライメージ6.5は『神』♪

by supernova1987a | 2018-10-09 06:55 | 天体写真 | Comments(8)
Commented by uto at 2018-10-09 16:50 x
手動でダークって、ダーク減算を1枚づつやっても結果は一緒だったよなぁ・・と思っていたら、コンポジットで、減算でしたか。
これは僕も試してないと思います(汗)
おっしゃる様に0以下を活かしたいので、32bitFits保存は必要そうですね。
うちのToupCamはダークが潜る(OFFSETの調整項目がない)ので、ダークはあんまり信用できないのですが、もう少しいろいろと検証してみた方がいいかもしれないなぁ、、と思いました。

頭から定説を信じちゃいけないなー、というのと、絶対に諦めない!のは大事だなぁ・・・と感じました。
とても参考になる記事、ありがとうございます。
Commented by supernova1987a at 2018-10-09 22:51
> utoさん
ラッキーイメージングの名手であるutoさんにそう仰られるとくすぐったいのですが、結構納得のいく結論が出ました。
直感的に、今回のような手法は短時間露光の多数枚コンポジット時に大きな差異を生むもので、長時間露光時にはバックグラウンドが明るく減算値がゼロ以下に潜りにくいため、これまで話題になっていなかったのではないかと想像します。
多連装鏡では原理的にディザリングが困難なため途方に暮れていたのですが、光明が差してきました♪
Commented by Te Kure at 2018-10-10 02:00 x
あぷらなーとさんは本質的に探求者なんですね〜!
失礼とは思いますが、心から惜しい!!としか・・
Commented by supernova1987a at 2018-10-10 07:37
> Te Kureさん

いえいえ『ごっこ』以外の研究はとても無理です。
才能ないので、ゆるーく行きます。
本文に数式がほとんど出てこない事からも分かるように、学力無さ過ぎ(笑)。



Commented by Te Kure at 2018-10-10 17:42 x
一応私も『胆癌生体の非特異的血清免疫抑制因子』なるグループに配属されましたが(笑) 、単に学会の発表の為だけの仕事でしたね〜
真の懐疑と探求の心はあぷらなーとさんに及びもつきませんでした・・ もっともお陰で血清の電気泳動と蛋白の抽出は少し慣れましたが。(笑)
不愉快なコメントになりましたらお許しください・・(謝)
Commented by 木人 at 2018-10-10 18:49 x
1600MCを購入して、初めて高ゲインでの短時間多枚数撮影。オートガイドなのになぜかほんの少しずつ流れる。短時間だからまあいいか。で、出来上がった画像には不思議な縞ノイズが、、。ダークを工夫するも改善されず。という流れでしたが、あぷらなーとさんの今回の一連の検証で納得出来た気がします。
1600MCはイヤになって売ってしまいましたが、1600MMと294MCではぜんぜん縞ノイズが出ないのが不思議です。
Commented by supernova1987a at 2018-10-10 23:01
> Te Kureさん
不愉快だなんてとんでもない。
失敗しても何のリスクも無い趣味の世界だからこそ定説に抗ってみる遊びも許されるのであって、プロなら採算性や迅速性や確実性が求められるでしょうから、私には及びもつかないことです。
Commented by supernova1987a at 2018-10-10 23:22
> 木人さん
最新機種の294MCは別格として、恐らく木人さんの1600MMは『当たり個体』なのだと思います♪
冷却CCDほど専門家向けの仕様ではなく、デジカメほど一般向けにチューンされてる訳でもない冷却CMOSですから、機種ごとあるいは個体ごとに最適な処理方法が異なるのも仕方ないのかも知れませんね。

私のようにASI1600MM系のカメラを3台も買う人は稀だと思うのですが、おかげで『個体差』というものを知ることができて、色々な研究ごっこが楽しめてます。
名前
URL
削除用パスワード
<< たまには『変態性』の低い(?)... ダーク減算処理についての『不快... >>


検索
タグ
最新の記事
記事ランキング
ファン
ブログジャンル
画像一覧
外部リンク