★先日来のエントリーで・・・・
※左：ダークフラット補正のみ６０コマコンポジット
※左：ダークフラット補正のみ６０コマコンポジット
※左：ダークフラット補正のみの元画像１コマの例
※左：『クールファイル』を加算コンポジットした１コマ画像
ASI1600MM-COOL（他のモノクロカメラも？）で多発する『縮緬ノイズ』について
①主要因はホットピクセルではなくクールピクセル
②クールピクセルはダーク減算では消えない（当たり前）
③クールピクセルはフラット除算でも消えない（ビックリ！）
④短時間露光の場合、クール除去フィルタでも消えない
『ようだ』ということが分かりました。
また、クールピクセルとその周辺のピクセルの輝度データを解析した結果
①クールピクセルと正常ピクセルの輝度差は一定では無い
※撮影対象の明るさによって非線形変化する
→減算処理できない理由
②クールピクセルの正常ピクセルに対する比感度（輝度比）は一定では無い
※撮影対象の明るさによって非線形変化する
→除算処理できない理由
『らしい』ことが分かりました。
最後の頼みはステライメージなどの「クールピクセル除去」系のフィルタなのですが、プログラムが『コイツがクールピクセルだ』と認識するためにはある程度の露光量が必要なようです。したがって、あぷらなーとが得意とする「短時間露光＋多数枚コンポ」では、周辺ピクセルのショットノイズに埋もれてしまいクールピクセルが正常ピクセルから弁別できていないように見えます。
・・・では、どうする？？
★ふと閃きました♪
ちなみに対処法のアイディアは、下記のジレンマから生まれました。
多数枚コンポジット＋ノータッチガイドの場合
①元画像にクール除去フィルタを掛けてもあまり効かない
②位置合わせありコンポジット後だと全くフィルタが効かない
③位置合わせ無しコンポジットだとフィルタが効く（でも、これだと被写体が流れまくり・・・）
というわけで堂々巡りになるのですが、ふと閃きました。
「位置合わせ無しコンポジット」したデータからクールピクセル情報を抜き取り
『クールファイル』を作製すれば良いのでは？！
★早速やってみます
元データにダークファイルとフラットファイルの補正を加えた後、下記の行程を実行してみます。
＜行程①＞
位置合わせ無しコンポジットした画像を複製して２枚にします。
その一方にステライメージのクールピクセル除去フィルタを掛けます（閾値はゼロ）
右：さらにクール除去フィルタ適用（しきい値ゼロ）
＜行程②＞
クール除去フィルタを掛けた画像から、フィルタを掛ける前の画像を減算処理します。
右：クール除去フィルタ適用画像から左の画像を減算したもの
この行程で、クールピクセルの位置と『加算すべき輝度』情報が入ったファイルが出来上がりました。これを『クールファイル』と呼ぶことにします。
ここで重要なのは、フラットファイルやダークファイルと異なり、実際の撮影データから『クールファイル』が抽出されたことです。そのため前回のエントリーで困窮した比感度の非線形変化の影響を避けられます。
別な表現をすると、1枚画像では効かないクール除去フィルタ機能に『クールピクセルの場所を教える』ファイルとも解釈できます。
また、「位置合わせ無しコンポジット画像」に適用したクール除去フィルタの効果を元画像に分散させるファイルとも言えますね。
＜行程③＞
作製した『クールファイル』を元画像（１コマデータ各々）に単純加算処理します。
（加算平均ではなく、加算です）
右：左画像に『クールファイル』を加算コンポジットしたもの
一見なにも変わってないように見えますが、それだけショットノイズが激しいと言うことです。気にせず先に進めます。
（これまでやっていた「元画像にクール除去フィルタ」を掛けても効かない理由は、上記の画像を見れば想像が付きます。こんなザラザラの中からクールピクセルを見分けろと言われても無理ですよねぇ。たぶん、余計なものが消えちゃってたんだと思います。よく考えれば短時間露光で生じるザラザラは空間ノイズではなく時間ノイズなので、真っ黒に見えても貴重なデータがほとんどで、これを消しちゃうと解像度が大幅にダウンしちゃうハズです。）
＜行程④＞
『クールファイル』を加算した元画像を加算平均コンポジット（位置合わせ有り）していきます。
右：６０コマ加算平均コンポジットしたもの
おしまい♪
★効果のほどをチェックしてみましょう
さて、実際に効果があったのか（クールピクセルの除去に成功して『縮緬ノイズが消えたのか』）をチェックしてみましょう。
行きますよ・・・・・・
左が「ダークフラット補正のみ」右が「『クールファイル』加算処理後」です。
・・・ででん！
左の画像（ダーク・フラット補正のみ）ではウジャウジャと存在する『縮緬ノイズ』が右の画像では、（ほぼ）完璧に消失しました！！
めでたい♪
★なぜ『縮緬ノイズ』が消えたのか？
今回の手法が有効に効いたかどうかは、コンポジット時にあえて「位置合わせをせず」に比較すると分かりやすくなります。
中：それにくわえてクール除去フィルタ処理した画像を６０コマコンポジット
右：今回の新手法で処理した画像を６０コマコンポジット
上の画像を比較すると明らかなように、やはりコンポジット前の画像にクール除去フィルタは効きにくいようです。しきい値ゼロでもクールピクセルは部分的にしか軽減されていません。それに対して今回の手法では、ほぼ完璧にクールピクセルが消えた上に、変なニジミも生じていないことが分かります。
では、位置合わせ有りのコンポジット画像で比較してみます。
左：ダークフラット補正のみの画像を６０コマコンポジット
中：それに加えてクール除去フィルタ処理した画像を６０コマコンポジット
右：今回の新手法で処理した画像を６０コマコンポジット
位置合わせ無しの時ほどは差が分かりにくいですが、『縮緬ノイズ』が効果的に消えた上に、画像の鮮明度が失われていないことが分かると思います。
★★★ご注意★★★
①今回の結果は、下記のようなごく限られた条件の下でのみ有用だと思います。
※短時間露光の多数枚コンポジットをする
※オートガイドはしない
※ある程度正確に極軸が合ってる
②そもそもノータッチガイドなどしなければ、クール除去フィルタで一発解消かも
③きちんとディザリングすれば（クールピクセルの位置が重複しなければ）シグマクリップで一発解消かも
④輝星の周囲のうちガイドズレ方向にはクールピクセルが残る可能性があります
※サチってしまうとクールピクセルの情報が抜き取れませんので
⑤『クールファイル』という用語があるわけではなく、単にあぷらなーとの造語です。
難しい理屈はさっぱり分かりませんでしたが、ここでようやく何が起きているか分かりました！ 効果てきめんですね。正体不明ながら「クールピクセル減算」という技術が定着しそうな予感すらします。ステライメージでの減算の方法とか調べないとですが、今度試してみます！
0
at 2017-09-10 23:06
> にゃあさん
これまで、どうしても「ノータッチガイド＋短時間露光＋多数枚コンポ」だと、王道（オートガイド＋長時間露光＋ディザリング＋少数枚コンポ）に追いつきそうになかったのですが、これで良い勝負ができそうな気がしてきました。（むろん「王道」で行くなら、こんなややこしい処理は不要だと思いますが・・・・）
ちなみに色々解析してみた結果、
カラーカメラの場合、クールピクセルは黒点ではなくてボッテリとしたカラフルな点として現れることが分かりました。今、カラーカメラ版の『クールファイル』作成中です。
・・・LRGB合成して画像を再処理するまで、もう一息♪
これまで、どうしても「ノータッチガイド＋短時間露光＋多数枚コンポ」だと、王道（オートガイド＋長時間露光＋ディザリング＋少数枚コンポ）に追いつきそうになかったのですが、これで良い勝負ができそうな気がしてきました。（むろん「王道」で行くなら、こんなややこしい処理は不要だと思いますが・・・・）
ちなみに色々解析してみた結果、
カラーカメラの場合、クールピクセルは黒点ではなくてボッテリとしたカラフルな点として現れることが分かりました。今、カラーカメラ版の『クールファイル』作成中です。
・・・LRGB合成して画像を再処理するまで、もう一息♪
Commented
by
kem2017
at 2017-09-11 02:53
おおおお、天気悪い効果がこんなところに！ (^o^)
なんか、新しい技が確立されそうですね。
なんか、新しい技が確立されそうですね。
> kem2017さん
条件により効果は色々だと思いますが、とりあえず「すっきり」しました。
これで、夜な夜な夢の中に黒いポツポツが出てうなされることも無くなるでしょう（笑）
・・・しかし今回は試行しまくったので、M31の画像データだけでHDDが１７２GBも使われちゃいました。あーあ。掃除しなきゃ・・・・。
条件により効果は色々だと思いますが、とりあえず「すっきり」しました。
これで、夜な夜な夢の中に黒いポツポツが出てうなされることも無くなるでしょう（笑）
・・・しかし今回は試行しまくったので、M31の画像データだけでHDDが１７２GBも使われちゃいました。あーあ。掃除しなきゃ・・・・。
素晴らしい。感動しました。Primitiveな領域でもまだまだ新しい発見の余地が残っているものですね。
Commented
by
らっぱ
at 2017-09-11 14:16
x
今回も凄い検証ですね、しかも非常に効果的でこれまでの縮麺ノイズの話題を一気に消し去った感じです(*^^)v
このクールファイルは使いまわしは出来るのでしょうか？
クールピクセルの性格を読み出して攻略した見識＆技術に改めて感動します・・と言うか尊敬しています(^_^)v
このクールファイルは使いまわしは出来るのでしょうか？
クールピクセルの性格を読み出して攻略した見識＆技術に改めて感動します・・と言うか尊敬しています(^_^)v
> kojiro-net5さん
メジャーな処理方法は「王道」を前提にしていると思うので、あえて「邪道」で遊ぶのが好きな『変態』さんは、自力で新たな手法を探索しないといけないのだなぁと思いました。（いや、そこが楽しいのですが）
まだ消し切れてないクールピクセルが散逸することと、ホットピクセルに関しても工夫が必要そうなこと、そして今回の手法以外のアイディアが2種生き残ってますので、当分天気が悪くても楽しめそうです♪
メジャーな処理方法は「王道」を前提にしていると思うので、あえて「邪道」で遊ぶのが好きな『変態』さんは、自力で新たな手法を探索しないといけないのだなぁと思いました。（いや、そこが楽しいのですが）
まだ消し切れてないクールピクセルが散逸することと、ホットピクセルに関しても工夫が必要そうなこと、そして今回の手法以外のアイディアが2種生き残ってますので、当分天気が悪くても楽しめそうです♪
> らっぱさん
結局、思いついた5パターンの処理方法のうち、2つは失敗で1つが成功でした。
残りの２つはノンビリと検証ごっこします。
ちなみに、今回の『クールファイル』は残念ながら一切使い回しができません。
写っている対象の明るさによって「クールピクセルの感度」が変動することが分かったため、実際に撮影した画像から『クールファイル』を作らないとだめだからです。
もちろん一夜に同一対象を同一露出で数百枚撮影したとすると、その数百枚のコマには同じ『クールファイル』が使えます。
撮影後ごとに『クールファイル』を作製するのは面倒なのでなんとかしたいところですが、コードを書かないと無理なので、実現するのは相当先のような気がします。（いわゆるピクセルマッピング法を夢想中です）
結局、思いついた5パターンの処理方法のうち、2つは失敗で1つが成功でした。
残りの２つはノンビリと検証ごっこします。
ちなみに、今回の『クールファイル』は残念ながら一切使い回しができません。
写っている対象の明るさによって「クールピクセルの感度」が変動することが分かったため、実際に撮影した画像から『クールファイル』を作らないとだめだからです。
もちろん一夜に同一対象を同一露出で数百枚撮影したとすると、その数百枚のコマには同じ『クールファイル』が使えます。
撮影後ごとに『クールファイル』を作製するのは面倒なのでなんとかしたいところですが、コードを書かないと無理なので、実現するのは相当先のような気がします。（いわゆるピクセルマッピング法を夢想中です）
ご無沙汰してます。私の場合はポツポツは気にならないのですが、シワシワが酷い（年だからしょうがないのかも）ので以前から悩んでましたが、クールピクセル除去処理でかなりきれいになりました。今までノイズ処理をしても軽減されず悩んでいたのが嘘のようです。なんか薬のコマーシャルみたいですが、本当に助かりました。ありがとうございました。今までの画像もどうせ天気が悪いので再処理してみようと思ってます。ありがとうございました。
純粋な画像処理での補正で素晴らしいです。効果も覿面の様ですね！
CMOSだとランダムノイズも多いので、いろいろとやっかいなんですよねぇ・・
ダークフレームも短時間露光だと安定しないのではないでしょうか？
IMX178だとAMPノイズがあるので、どうしても同一時間でのダーク減算が必要なのですが、引いても引き残り、引きすぎがあるように感じています・・・。
そんな時に、今回のこの方法は効果覿面だと思います！
CMOSだとランダムノイズも多いので、いろいろとやっかいなんですよねぇ・・
ダークフレームも短時間露光だと安定しないのではないでしょうか？
IMX178だとAMPノイズがあるので、どうしても同一時間でのダーク減算が必要なのですが、引いても引き残り、引きすぎがあるように感じています・・・。
そんな時に、今回のこの方法は効果覿面だと思います！
> 星空さん
ご無沙汰してます。
先ほどお邪魔して見事な網状星雲、拝見いたしました。
機材ばかりが増えて、全然使いこなせてない私ですが、ようやく光明が差してきました。縮緬皺の軽減アイディア、お役に立てたようで嬉しいです♪
ご無沙汰してます。
先ほどお邪魔して見事な網状星雲、拝見いたしました。
機材ばかりが増えて、全然使いこなせてない私ですが、ようやく光明が差してきました。縮緬皺の軽減アイディア、お役に立てたようで嬉しいです♪
> utoさん
ご無沙汰してます。
ようこそいらっしゃいませ！
点状のノイズはともかく、モワッと広がるアンプだけはダーク減算するしか
無いですね。
今回、ホットもクールも想像以上に難敵であることが分かって、しばらくは寝付けませんでした（笑）。温めてきていた別アイディアも早々に実験してみたいです。
あ、でもＶＭＣ２６０Ｌの初フラット撮影のほうが先ですね。
ご無沙汰してます。
ようこそいらっしゃいませ！
点状のノイズはともかく、モワッと広がるアンプだけはダーク減算するしか
無いですね。
今回、ホットもクールも想像以上に難敵であることが分かって、しばらくは寝付けませんでした（笑）。温めてきていた別アイディアも早々に実験してみたいです。
あ、でもＶＭＣ２６０Ｌの初フラット撮影のほうが先ですね。
Commented
by
Sam
at 2018-01-27 01:41
x
あぷらなーとさん、ほしぞloveログへのコメントありがとうございます。この記事の内容がやっと理解できました。やはり自分でノイズに遭遇してきちんと考えないと、良質な記事でも読み飛ばしてしまい価値がわからないですね。物凄く参考になりました。上記方法、自分でも試してみます。
> Samさん
おっしゃるとおり、天文系のネタは、同じ様な現象に遭遇した人でないと意味が分かりにくい事って多いですね。とにかく冷却CMOSカメラは色々と謎が多くて難儀しますが、趣味の道具として見れば、あえて謎解きを楽しむのも面白いですね。
Samさんの考察は非常に興味深いので、検証記事楽しみにしています。
おっしゃるとおり、天文系のネタは、同じ様な現象に遭遇した人でないと意味が分かりにくい事って多いですね。とにかく冷却CMOSカメラは色々と謎が多くて難儀しますが、趣味の道具として見れば、あえて謎解きを楽しむのも面白いですね。
Samさんの考察は非常に興味深いので、検証記事楽しみにしています。
