熱画像の処理

サーマルマッピング入門

赤外線画像技術は、特に産業設備の熱分布図を取得するためにますます活用されており、プラント内の異常を迅速に検知し、メンテナンスの重点を的確に定め、操業効率を向上させるために役立っています。

サーマルカメラは、通常のRGBカメラとはかなり異なります。まず第一に、サーマルカメラは現在のRGBカメラに比べて解像度がはるかに低い傾向があります。また、長波長赤外線を遮断しないよう、特殊な光学系を必要とします。さらに、サーマルカメラには通常シャッターが搭載されていますが、これは通常、撮影には使用されず、センサーの内部キャリブレーションにのみ使用されます。

画像の取得にかかる時間は、むしろカメラセンサーの「応答時間」によって決まるものであり、これは一般的にRGBカメラの標準的な露光時間よりも長くなります。さらに、サーマルカメラの応答は時間とともに変化する（ドリフト）傾向があり、センサー全体で不均一になることもあります。

熱画像プロジェクトにはどのような画像を使用できますか？

PIX4Dmapper 、このセクションに記載されている推奨事項に従って撮影されたサーマル画像を処理PIX4Dmapper 。

どのPix4D サーマル画像を処理できますか？

• PIX4Dmapper および PIX4Dengine は、このセクションに記載されている推奨事項に従って撮影されたあらゆる種類のサーマル画像（RJPG、.tff、.jpg）を処理できます。
• PIX4Dfields は、Micasense Altum/Altum-PTおよびSentera 6Xカメラのサーマルバンドを処理でき、実際の温度値を表示します。
• PIX4Dfields および PIX4Dreact は、多くのドローンで撮影された.jpg形式のサーマル画像を処理でき、温度を視覚的にのみ表現したカラーマップを提供します。
• PIX4Dmatic PIX4Dmaticは、サーマル画像を処理しません。RGB画像に対応しています。
• PIX4Dcloud PIX4Dcloud 単体では、 rjpeg 形式およびグレースケールの熱画像の処理には対応していません。PIX4Dcloud グレースケール画像をPIX4Dcloud のデータセットに直接アップロードすることは可能ですが、放射測定誤差、スケールの問題、およびキャリブレーションの不正確さが生じる可能性があるため、推奨されません。 

どのサーマルカメラが対応しており、どのような温度範囲を測定できますか？

センサーの推奨事項

PIX4Dmapper シーンを再構築PIX4Dmapper 、画像内に十分な視覚的情報を確保するため、以下のことをお勧めします：

• センサーの解像度は最低でも640×480ピクセルである必要があります。これより解像度の低いセンサーはサポートされておらず、通常はキャリブレーションが行えません。
• 焦点距離が短いレンズ（9mm）を使用すると、撮影範囲が広くなりますが、焦点距離の長いレンズを使用することも可能です。

対応しているサーマルカメラ

すぐに利用可能な推奨統合ソリューションには、以下のカメラが含まれます。

放射温度計

「R」と表記されたカメラは、放射測定校正が施されています。このようなカメラを使用することで、画像の各ピクセルにおける絶対温度を記録することが可能になります。FLIR Vue Pro RとZenmuse XTRは、いずれも絶対温度を記録する放射測定対応モデルです。これらのカメラは、画像をRJPG（放射測定JPG）形式で保存します。これは、各ピクセルに温度データが埋め込まれた.jpg画像です。

Mavic 3T Enterprise、Mavic 2 Dual Enterprise Advanced、Zenmuse H20T、Zenmuse H20NなどのDJI製サーマルカメラで撮影した画像をどのように処理すればよいですか？

現在、Pix4DソフトウェアPix4D、DJI製のMavic 3T Enterprise、Matrice 30T、Mavic 2 Dual Enterprise Advanced、Zenmuse H20T、Zenmuse H20Nなどの特定のサーマルカメラから、温度値を含む反射率マップを生成することができません。 これは、これらのカメラから取得したサーマル画像のメタデータが、他の一般的なサーマルカメラのものとは異なるため、Pix4Dソフトウェアで使用されているFLIR SDKがそれらをrjpeg画像として識別することが困難になるためです。その結果、ソフトウェアはこれらの画像をサーマル画像ではなくRGB画像として処理してしまいます。

Pix4Dソフトウェアでこれらの画像を正しく処理するには、PIX4Dソフトウェアで処理する前に、サードパーティ製のソフトウェアを使用してrjpeg画像を温度情報を含むTIFFファイルに変換するという回避策があります。詳細については、「サーマル画像の変換」をご覧ください。

.jpg形式のサーマル画像をPIX4Dmapper、PIX4Dfields、または PIX4Dreactで処理される際、それらは標準的なRGB画像として扱われます。その結果生成されるオルソモザイクは、視覚化のみに使用可能です。.jpg形式では温度データが保持されないため、マップ上のいかなるオブジェクトやピクセルからも温度値を抽出したり測定したりすることはできません。

熱画像の撮影方法は？

サーマルプロジェクトにおいて、撮影されたシーンをより正確に再現するためには、画像取得時に以下の推奨事項に従う必要があります：

• 重なりが非常に大きい：正面と側面の画像が 90%重なっている。
• これらの画像は、少なくとも640×480の解像度で撮影されています。
• 画像にモーションブラーは生じません。飛行速度を上げると、画像がぼやけることがあります。

熱データセットの処理方法は？

熱関連プロジェクトの処理

1. 新しいプロジェクトを作成します。詳細については、「 PIX4Dmapper新規プロジェクト作成」をご覧ください。
正確な画像位置情報が含まれるナディールデータセットを作成するには、処理テンプレートとして「Thermal Camera」を選択してください。詳細については、「処理オプションのデフォルトテンプレート」をご覧ください。

2. 「ピクセルサイズ 」と 「 焦点距離」の値が 正しく設定されていることを確認します。メニューバーで [Project] > [Image Properties Editor...]をクリックし、「Selected Camera Model」セクションで[Edit...] をクリックします。 カメラモデルの変更方法に関する詳細な手順については、「カメラモデル編集オプションの使用方法」を参照してください。
3.処理バーで「開始 」をクリックして 処理を開始します 。ステップ3「DSM、オルソモザイク、およびインデックス」の処理中に、熱インデックスマップが生成されます。

Micasense Altumからのデータセットを処理する

Micasense Altumは、青、緑、赤、レッドエッジ、近赤外線（NIR）、熱赤外線（LWIR）の6つの波長帯に対応したカメラです。熱センサーの解像度は160×120ですが、高解像度のマルチスペクトルセンサーを搭載しているため、リグとして問題なく画像処理を行うことができます。

1. 画像をアップロードし、agマルチスペクトルテンプレートを使用してください。
2. LWIRのピクセル値を摂氏に変換するには、次の式を使用してください：Thermal_ir=(lwir/100)-273.15

Micasenseのウェブサイトには、このカメラのデモ用データセットが掲載されています。

熱画像とRGB画像の両方を用いたデータセットの処理（より高品質な3Dメッシュ／モデル）

通常、サーマルカメラの解像度はRGBカメラよりもはるかに低いため、生成される3Dモデルの品質も大幅に低下します。そこで、高解像度のRGB画像を用いて詳細な3Dモデル（メッシュ）を計算し、その上にサーマルテクスチャを投影するという手法が採用されています。これにより、最終的なサーマル3Dモデルの品質が大幅に向上します。サーマル画像とRGB画像の両方を含むデータセットを処理するには：

1. 上記の指示に従って、サーマルデータセットに対してステップ1「初期処理」を実行します。
2. 別のPIX4Dmapper で、RGB データセットに対してステップ1「初期処理」を実行します。
3. RGB プロジェクトとサーマルプロジェクトをマージします。プロジェクトのマージに関する詳細については、「プロジェクトのマージ」を参照してください。
4. メニューバーで、[Process] > [ Processing Options] をクリックします。2. 「Point Cloud and Mesh」を選択し、「Advanced」タブを開きます。「Point CloudandMesh Geometry」画像グループでは 、「Thermal IR」のチェックを外し、「group1」にチェックが入っていることを確認してください。「Mesh Texture」画像グループでは、「Thermal IR」にチェックを入れ、「group1」のチェックを外していることを確認してください。詳細については、メニューの「Process」>「Processing Options...」>「2. Point Cloud and Mesh」>「Advanced」を参照してください。

熱出力をどのように可視化すればよいでしょうか？

rayCloudで3D点群を可視化する

1.[表示] > [rayCloud] をクリックしてrayCloudを開き、左サイドバーの [レイヤー] セクションにある[Point Clouds] チェックボックスをオンにして、3D ポイントクラウドを読み込みます。 詳細情報：メニュー [表示] > [rayCloud] > 左サイドバー > [レイヤー] > [Point Clouds]。
2. 表示：（オプション）左 サイドバーの[Point Clouds] レイヤーで、[表示プロパティ]を選択し、[シェーダー] を[Screen Aligned Quads, Thermal ] または [Spherical Points, Thermal] のいずれかに変更します。

rayCloudで3Dテクスチャ付きメッシュを可視化する

1. 「Thermal Camera」処理テンプレートを使用し、3Dテクスチャメッシュの出力を希望する場合は、メニューバーの「Process」＞「Generate 3D Textured Mesh」をクリックします。 詳細情報：「Process」メニュー＞「Generate 3D Textured Mesh」。
2.「View」＞「rayCloud」をクリックしてrayCloudを開き、左サイドバーの「Layers」セクションにある「Triangle Mesh」ボックスにチェックを入れて、3Dテクスチャメッシュを読み込みます。 詳細情報：メニュー [View] > [rayCloud] > 左サイドバー > [Layers] > [Triangle Meshes]。
3. 表示：（オプション）左サイドバーの[Triangle Meshes] レイヤーで、[Display Properties] を選択し、[Shader] を[Thermal] に変更します。

インデックス計算ツールで熱指数マップを表示する

1.[表示] > [インデックス計算機]をクリックして、インデックス計算機を開きます。
2. サイドバーの[インデックスマップ]セクションで、熱データを含むバンドを選択します。

3. 表示：（オプション）サイドバーの「カラーマップと設定」セクションで、クラスの数を32に増やし、ドロップダウンリストから「 等間隔」を選択します：メニュー表示 > インデックス計算機 > サイドバー > 4. カラーマップと設定。

連続する画像間の熱強度の不連続性を修正するにはどうすればよいでしょうか？

温度が時間の経過とともに変動するように見える場合、これはカメラの特性によるものであり（通常、非冷却カメラではこの現象が見られます）、ソフトウェアでは修正できません。カメラには、通常はシャッターを閉じた状態で撮影を行うことで、輝度を自動的に再校正する機能が備わっています。これは、均一な温度を持つ表面の熱画像自体が均一ではないためです。むしろ、特定のカメラに特有のパターンが表れ、それが時間とともに大きく変化することがあります。

詳細については、カメラのメーカーにお問い合わせください。

非常に長い処理時間を短縮するにはどうすればよいですか？

ステップ1の処理速度に影響を与える主な要因は2つあります。初期処理：

• 重複が多すぎる：プロジェクト内の画像の一部が同じ場所で撮影されている場合、処理時間が飛躍的に増加します。時間ではなく距離に基づいてカメラを起動するフライトプランニングアプリ（PIX4Dcaptureなど）の使用をお勧めします。あるいは、ドローンが同じ場所で長時間ホバリングしていた場合は、手動で画像を削除することをお勧めします。
• カメラモデルの最適化：カメラの初期値が最適化後の値と大きく異なる場合、処理が遅くなる可能性があります。ピクセルサイズと焦点距離が正しく入力されていることを確認してください。「カメラモデルの編集オプション」の使用方法。

rayCloudに完全に白または黒の画像が表示され、キャリブレーション率が低い場合、どうすればよいですか？

rayCloudに表示される画像が完全に黒または完全に白になっており、プロジェクトのキャリブレーション率が非常に低い場合、使用されているサーマルカメラが当社のデータベースに登録されていないことを意味します。このような状況では、以下の2つの対応が可能です：

• 最も望ましい方法は、データセットのサンプルをお送りいただき、当社のデータベースに組み込めるようにすることです。
• もう一つの方法は、処理を開始する前にプロジェクトを閉じ、テキストエディタで.p4dファイルを開き、以下の <tangentialT2> およびその上部の <cameraModelSource> 行に、次の行を追加してください
  <pixelValue pixelType="uint16" min="-1" max="-1"/>

「pixelType」は、入力画像のデータ型と一致している必要があります。たとえば、float型や8ビットのデータを使用する場合、上記の行は機能しません。

温度センサーのカスタム統合機能の使い方は？

カスタム統合を使用する場合、PIX4Dmapper メタデータを画像のEXIFタグに組み込む必要があります。PIX4Dmapper読み取るすべてのEXIFタグを記載した以下のドキュメントに従ってください：プロジェクト作成のためのEXIFおよびXMPタグ情報。

トラブルシューティングの手順

熱画像データの処理が正常に行われない場合や、キャリブレーションができない場合は、以下の点を確認してください：

• 画像はそれほど画一的ではありません。
• カメラモデルは、 ピクセルサイズ および 焦点距離と共に正しく設定されています。場合によっては、EXIFからピクセルサイズが正しく読み取られないことがあります。このパラメータはメーカーによって提供されます。カメラモデルのオプションに関する詳細については、「カメラモデルのオプションの編集方法」をご覧ください。
• 画像の位置情報と向きに明らかな誤りはありません。画像の位置情報と向きに関する詳細については、「画像の位置情報と向きの選択・変更方法」をご覧ください。
• 用途 サーマルカメラ 処理テンプレートを使用します。処理テンプレートの詳細については、「処理オプションのデフォルトテンプレート」を参照してください。

上記の点を確認しても、プロジェクトがキャリブレーションされない、あるいは歪みがひどい場合は、以下の処理オプションを以下の順序で適用してみてください：

1. 応募する 「All Prior」 内部カメラパラメータ最適化手法の前に適用されます。「All Prior」処理オプションの詳細については、メニューの「Process」＞「Processing Options...」＞「1. Initial Processing」＞「Calibration」を参照してください。
2. カメラモデルの歪みパラメータをすべてゼロに設定します（ラジアル歪み R1、R2、R3、およびタンジェンシャル歪み T1、T2）。カメラモデルオプションの詳細については、「カメラモデルオプションの編集方法」を参照してください。
3. それでもキャリブレーションできない場合は、他のキャリブレーション方法（標準、代替）で実行してみてください。詳細については、メニューの「Process」＞「Processing Options...」＞「1. Initial Processing」＞「Calibration」を参照してください。ThermalおよびThermomapテンプレートでは、代替キャリブレーションパイプラインが使用されます。このパイプラインは、データセットに斜め撮影画像が含まれておらず、地形が平坦かつ均一であることを前提としています。この前提に基づき、キャリブレーション処理中に、35度を超える傾斜を持つ画像はキャリブレーションされません。標準キャリブレーションを使用して処理してみてください。
4. 良質な熱画像データセットとは、約95%という非常に高い重なり率を持つものです。とはいえ、画像が同じ視点から撮影されたものではなく、各画像の中心が異なる位置にあることが重要です。Tau2（ビデオカメラ）のようなカメラの場合、特にドローンがホバリングしているときは、フレームレートが高すぎて同じ場所の画像が多数含まれてしまう可能性があります。その場合は、データセットから一部のフレームを手動で削除する必要があります。