解析ごっこ・検証ごっこ

ダークとバイアスの解析ごっこ①

★小雨が降る夜は・・・・
新兵器『くわとろ☆みるとる』やLEDトレース台を使って、一気にナローバンド祭りに参戦したあぷらなーとなのですが、今回の休みはあいにくの空模様。曇るばかりかシトシトと雨が降る始末。

だが、しかしッ!
こういう時こそ「ダークファイルの特性調査ごっこ」に最適なのじゃーッ!!

ええと、こんなことを思った方はいませんか?
「温度別・ゲイン別・露光別にダークファイルを撮影するの、面倒くさいよぉ」
「せめて、どんな露光時間でも通用するような魔法のダークファイルがあれば良いのに・・・」
って。

でね。普通はいきなり実践で色々試行錯誤して
「ああ、上手くいったー♪」
とか
「ダメだ。無精するとロクな事がねえなぁ。」
とか思うわけですよねぇ。

でも、意外に再現性がなかったりして、少し条件が変わっただけで難儀するのですよー。

ならば、『邪道戦士:あぷらなーと』が調べてみようではないですか「ダークノイズの性質」とやらを。



★誰でもできるけど誰もやらないこと
正直、面倒くさくないですか?
1時間の総露光を行うとして、これを
 ①30秒露光×120コマ
 ②15秒露光×240コマ
 ③8秒露光×450コマ
 ④4秒露光×900コマ
 ⑤2秒露光×1800コマ
 ⑥1秒露光×3600コマ
6パターンに分けて、それぞれのダークノイズにどのような差があるか調べる・・・っていう地道な作業。

でも、まあ雨が降ってますからね。
お外に出ることもできないので、頑張ってみようではないですか!


★撮像データ
 カメラ:ASI1600MM-Pro
 撮像温度:-15℃
 ゲイン:300
 出力:16bitモノクロFITS
この設定で、上記の①~⑥にバイアス480コマを加えて総勢7590コマを頑張って撮影しました!
(実は徹夜で撮り終えて解析ごっこしてたら値がおかしくて、よくよくデータを見たらゲインが全部0になってた!もう半泣きで全部撮り直した・・・という恥ずかしいお話は内緒)



★ライトフレームとは事情が違う
さて、膨大な量のダークファイルをそれぞれコンポジットして、マカリで解析してみます。
要するに、
「ある特定の平均輝度を有するピクセルが露光時間の変化によってどんなダークノイズを吐き出すのか」
が知りたかったわけです。

いや、だってー。30秒露光でライトフレームを撮影した時にうっかりダークフレームを撮り忘れたとして、事前に用意しておいた10秒露光のダークフレームを3枚加算して転用できたりしたら素敵じゃないですかー。

でもね、これ無理なんですよ。
ダークとバイアスの解析ごっこ①_f0346040_02025792.jpg
左は15秒露光したダークフレームで、右は1秒露光したダークフレームを15枚加算コンポジットしたものです。

ライトフレームならば上手くいきそうなものですが、ダークフレームの場合は総露光時間が同じでもまるで別物のダークファイルが出来上がってしまいます。
だからライトフレームの露光時間に合わせてダークフレームを撮り直さないといけないわけですね。
と、ここまでは常識ですが・・・。


★なぜ総露光時間が同じでもダメなのか
国立天文台のFITSファイル解析ソフト「マカリ」を使って輝度変化を調べて見ます
大まかな手順は以下の通りです。
①1600万画素のうち、1000ピクセル分のデータを抽出します。
②30秒露光した場合の平均輝度がそれぞれ200・300・400・500(±20)になるピクセルを選定しグループ化します。
③同一グループのピクセルが露光時間によってどのように輝度変化するのを調べます。

すると・・・・

ででん!
ダークとバイアスの解析ごっこ①_f0346040_02185824.jpg
 ※左から順に「平均輝度200」「平均輝度300」「平均輝度400」「平均輝度500」のグループ
 ※横軸が露光時間、縦軸は輝度値(総露光時間は露出時間によらず一定)

ね?なかなか不思議なグラフでしょ?
◎ダークノイズが出にくいピクセルは露出時間を延ばしてもほとんど輝度が変化しない
◎ダークノイズが出やすいピクセルは露出時間とともに輝度が大きくなるが、比例はしない
ってところですねぇ。


★ああ、そういうことか!?
どのグループのグラフも共通しているのですが、これ、露光時間が0に相当する位置でも輝度がゼロにならないことが分かります。
そう。特に平均輝度500グループのグラフを見ると分かりやすいのですが、どうやらこのグラフ「切片」をもってるっぽいんですよ。
露出時間ゼロでもダークノイズっぽいものが乗っている・・・と。

さては!
こ、これがバイアスノイズかっ!!

このあたりは、例えば15秒露光時の各ピクセルの輝度と30秒露光時の輝度をスキャッタープロットしてみると推測しやすくなります。
早速、やってみましょう♪
ダークとバイアスの解析ごっこ①_f0346040_02402953.jpg
このように、赤いライン上に分布する「露光時間によらずほぼ一定の値を持つピクセル」(バイアスノイズが優勢)と、緑のライン上に分布する「露光時間とともに輝度が大きくなるピクセル」(ダークノイズが優勢)という具合に「二群に分かれている」っぽいですね。

では、調べるピクセルを3000個に増やして解析してみます。

ダークとバイアスの解析ごっこ①_f0346040_09570214.jpg
このグラフなら、露光時間によらず一定の値をとるノイズと露光時間と強い相関を持つノイズの2種類があることがハッキリと分かりますね♪
・・・で、輝度300あたりから両者が乖離してるみたい。
よし。
そうなれば話は早いッ!
早速各ダークファイルからバイアスファイルを手動減算して、再び解析してみます。

すると・・・・

ででん!!
ダークとバイアスの解析ごっこ①_f0346040_02444704.jpg
うおー。キターッ!!
バイアスを引いたダークファイルをコンポジットすれば、露光時間が異なっていても(総露光時間が同じなら)似通った輝度になるということが判明しました♪

・・・まあ、元々低輝度のノイズしか出ないピクセルはバイアスを引いても上手く一致しないのですが
ダークとバイアスの解析ごっこ①_f0346040_02492089.jpg
これが、CMOS特有のものなのか、そもそもこういうものなのかは不明です。


★というわけで、暫定的結論
ダークファイルは「バイアスノイズ」+「ダークノイズ」の和で構成されており、短時間露光したファイルを加算しても長時間露光したダークファイルの代用にはならないが、事前にバイアスを減算した短時間露光ダークファイルを加算すれば、任意露光時間のダークファイルの代用になりうる(気配がある)。
例えば、60秒露光のダークファイルが手元にないとき、バイアスを減算した15秒露光ダークファイルを4枚加算すれば代用になるかもね・・・というお話でした。

失敗も含めて1日で1万5千コマの撮像と画像処理をしたので、もうクタクタ。
しばらくダークファイルは見たくないよう(笑)

★★★以下つづきます。たぶん★★★


★お約束★
①ダークファイルの解析ごっこは、あくまで『ごっこ』なので線形近似などの数式は公開しません。
②グラフに誤差棒のようなものが見え隠れしていますが、測定精度を保証するものではありません。
③膨大なファイルを扱ったため致命的なミスが潜んでいる可能性を否定できません。
 (事実、2秒露光のデータだけあまりにも異質だったため、追試が必要です)
④大まかな結果が出た段階で「バイアスノイズ」でググってみたら(今回の検証ごっこで示唆された内容は)なんか常識っぽいです。
⑤・・・とすれば低輝度ピクセルに関して短時間露光時に線形性が崩れていることの方が問題なのかもしれません。
⑥実写にてこの手法が有効かどうかは、次回の課題とします。
⑦今回の結果は、単にあぷらなーとの冷却CMOSカメラの個体差を拾っただけかもしれません。

Commented by まーちゃる at 2018-11-20 18:07
こんばんは!
まーちゃるです。

すごい検証ですね!
僕はいつも数学的に考えるだけでほとんど実地検証しないのでとても参考になります。
ダークファイルからバイアスを引いたものをピュアダークと呼んでますが、1分のダークファイルを作るのに4枚のピュアダークとバイアスを加算すればいいっていうのは僕の認識と合ってると思います(^-^)
Commented by kem2017 at 2018-11-20 20:14
ははぁ。y = ax + b だったんですねぇ(?)。ダークって。

ASI294MC の邪なノイズをどうにかしようと、 Lowest Read Noise と Unity Gain のダークを比較して、脂汗してます...
Commented by supernova1987a at 2018-11-20 23:19
> まーちゃるさん
ありがとうございます。泥臭い検証ごっこですが、ノイズの性質が少し分かってきた気がします。私は数学が苦手なので、視覚的に定性的性質が分からないとどうも合点がいかないという(笑)
とりあえず、冷却CCD時代に言われてたことは冷却CMOSにもある程度適用可能なようですね。
あとは温度特性とゲイン特性・・・それに「個体差」。
道のりは遠そうです。
Commented by supernova1987a at 2018-11-20 23:42
> kem2017さん
はい、切片と傾きの二重構造してるっぽいですね。だから、切片(バイアス)を取り除けば、素直な挙動を示すはずだとにらんでます。
あと、バイアス自体の性質によっては、長時間露光の一発撮りって原理的にダメダメなのかも?とも妄想してます。
さて、294mcのチップは、ゲインを上げていくとあるところでガクッとノイズが減るらしいし、本来4000万画素のセンサーをデフォルトでビニングしてたり、1ピクセル内で露光を変えて一発段階露光できるらしいし、これらがどこまでコントロール可能なのかは分かりませんが謎が多過ぎで面白そう♪うらやましい!
Commented by supernova1987a at 2018-11-20 23:51
追記
いや、バイアスの件は長時間一発露光時にはSN比の関係で無問題だなぁ。多分。
勘違い勘違い♪
Commented by にゃあ at 2018-11-21 00:18
なるほど!これがe=mc^2ですね!(何も分かってない)バイアスの引き方がそもそも分かってないです(泣)
Commented by supernova1987a at 2018-11-21 09:36
> にゃあさん
まあ、似たようなものです(違うって)。
普通の使い方している限りバイアスは引かなくて良い(無意識に引かれているから)ので心配しないでくださいね。
でも、ダークファイルが無いときとか、ダークファイルの露光時間を間違えたときとか、私のASI1600MM2号機のようにオフセットがズレた個体を使うときとかに必要性が出てくるかも、です。
名前
URL
削除用パスワード
by supernova1987a | 2018-11-20 07:40 | 解析ごっこ・検証ごっこ | Comments(7)

あぷらなーとの写真ブログ


by あぷらなーと
PVアクセスランキング にほんブログ村