PR

ESP32チップを使用して機械学習なしでアナログゲージを読む

AIを利用したモノづくり
記事内に広告が含まれています。

はじめに

ビルメンテの現場ではアナログゲージがたくさんあります。それが高所のタラップを上り下りしなければならない場所もあれば、施工が悪くて死角になる場所に設置しているなんてゲージもあります。

予算の都合なのか中央監視にポイントが無くCRT表示していない圧力値もあります。

更にこれも予算の都合か一括警報でしか警報が上がってこない設備。それが設備内インフラで警報によっては設備の運用で重大なことにもなりかねない可能性があると、慌てて現場に走らなければなりません。

実際に機械が停止していて先行してもらった係員が思考停止して、呆けた顔でこちらを見ていた記憶もあります。その時私はケガを負う事はありませんでしたが、階段を慌てて降りて転倒して痛い目にあいました。

アナログ圧力計を4,500円のカメラ付きマイコンで自動で読めないか試しました。結果、機械学習を使わず、XIAO ESP32S3 Sense 単体で、正面からでも約42° の斜めからでも、誤読0・平均誤差0.3〜0.5%FS で読めるようになりました。

GitHubに利用ガイドと開発ログを置いてあるので詳細についてはそちらを読んでください。

廃棄品のTOKO製アナログ圧力計(0〜1.0MPa)

私は退職してしまったのでもう現場には出ることが出来ません。しかし以前機械学習にチャレンジしてみたいと思い廃棄処分されていた圧力計を家に持って帰っていたのです。圧力計の中身はブルドン管といって扁平した銅管が渦巻状になっていて針を動かす構造になっています。こいつの中身を取り除いてステッピングモーターをArduino UNOで回して機械学習データを取ろうと考えていました。しかしESP32も高性能化し、AIでのコード生成もユーザーの知識が乏しくても可能になったのでアナログゲージを読めるかチャレンジしてみることにしました。

このコードはTOKOの圧力計で0~1.0MPa仕様のモノに於いて有効です。当然レンジが違えばコードは調整が必要となります。

圧力計の裏に取り付けたステッピングモーター28BYJ-48
Arduino UNOとULN2003で針を動かす疑似圧力計

この記事では、「画像のどこが針なのか」をマイコンがどうやって見つけているのかを、図で説明します。ポイントは3つです。

  • 計器の縁に黒丸4つを貼り、斜めの画像を「正面から見た形」に直して読む
  • 針は文字盤から浮いているので、斜めから見ると中心がずれて見える。そのずれを毎回計算で打ち消す
  • 針を「中心から外周までつながった線」として探す。細いリング20本のうち7割以上で暗い角度だけを針とみなす
使ったもの内容
カメラ・処理XIAO ESP32S3 Sense(OV3660)、640×480 の白黒画像、1枚約0.2秒で解析
圧力計0〜1.0MPa、外形φ115、文字盤φ95、赤い置針付き
マーカーφ95〜φ115 の紙リングにφ6mm の黒丸4つ(紙に印刷して貼るだけ)
評価用実物の文字盤にステッピングモーターの針を付けた疑似圧力計(針の正解が分かる)
Amazon.co.jp: Seeed Studio XIAO ESP32S3 Sense (はんだ付け済み) : パソコン・周辺機器
Amazon.co.jp: Seeed Studio XIAO ESP32S3 Sense (はんだ付け済み) : パソコン・周辺機器
Amazon.co.jp: Arduino Uno Rev3 A000066 : パソコン・周辺機器
Amazon.co.jp: Arduino Uno Rev3 A000066 : パソコン・周辺機器
Amazon.co.jp: KKHMF 2個セット 28BYJ-48 5V ステッピングモーター+ ULN2003ステッピングモーター駆動テストモジュールボード 4フェーズ 5ライン : 産業・研究開発用品
Amazon.co.jp: KKHMF 2個セット 28BYJ-48 5V ステッピングモーター+ ULN2003ステッピングモーター駆動テストモジュールボード 4フェーズ 5ライン : 産業・研究開発用品

全体の流れ

画像を撮ってから値が出るまでは6段階です。途中で自信がなければ、値を出さず「未取得」として記録します。

画像1枚から圧力の値が出るまでの6段階の流れ図
全体の流れ ― 6段階、2つの「未取得」

以下、第2〜5段階を順に説明します。

縁に貼った黒丸4つで「正面」に直す

カメラを斜めに付けると、丸い文字盤は楕円に写り、目盛りの角度も歪みます。そこで、文字盤(φ95)と計器の外形(φ115)の間に紙のリングを貼り、12時・3時・6時・9時の位置に黒丸を印刷しました。

黒丸4つの本当の位置(中心から52.5mm)は分かっているので、画像の上でそれがどこに写ったかが分かれば、「文字盤の上の点 [mm] → 画像の上の点 [px]」の対応(射影変換)が決まります。以降の処理はすべて「正面から見た文字盤」の mm と角度で行い、画像を読むときだけこの対応で画像の点に変換します。

縁の黒丸4つで斜めの画像を正面の文字盤に直す模式図
マーカーリングと正面化 ― 斜めの画像 → 正面の文字盤

黒丸の探し方は「中心が暗く、周りが全周明るい」場所を探すだけです。計器の縁の黒い部分や影は、周りの半分くらいが暗いので選ばれません。起動時は画像全体から4つの組を探し、その後は前の位置の近くだけを追いかけます。

この仕組みのおかげで、カメラを付け直しても、回転中心や目盛りの設定はそのまま使えます(文字盤の mm で保存しているため)。

斜めから見ると針の中心がずれる(視差)

黒丸を貼ったのは計器の前面(縁)ですが、針はそれより約8mm奥、文字盤はさらに約2mm奥にあります。正面からなら関係ありませんが、斜めから撮ると「黒丸の面」の上で見た針の中心がカメラ側へずれて見えます。約42° の斜めでは、そのずれは約7mmでした。

このずれを無視した最初の斜めの測定では、50点のほとんどで赤い置針を針として読んでしまいました。そこで毎回次の計算をしています。

  1. 黒丸4つの写り方から、カメラが計器に対してどこにあるかを求める
  2. カメラと「8mm奥にある針の中心」を結ぶ線が、黒丸の面と交わる点を求める。これが見かけの中心
  3. 針探しは見かけの中心から行う。針は真っすぐな線なので、中心を平行にずらせば角度はそのまま正しく読める
斜めから見ると奥にある針の中心がずれて見える視差の模式図
視差の模式図 ― 縁の前面・針・文字盤の奥行き

針と文字盤の間(約2mm)のずれは計算に入れていません。角度の計算には影響しませんが、目盛りの位置を画面でクリックして設定するときに斜めだと約2° ずれます。目盛り合わせはカメラを正面に置いて行います。

細いリング20本で針を探す

ここが一番の工夫です。文字盤には針のほかにも、数字「0.2」「0.6」、文字「PRESSURE GAUGE」、目盛り線など、黒いものがたくさんあります。ただし、針だけは中心から外周までつながった一本の線です。この違いを使います。

  1. 針の中心から半径18〜38mm の範囲を、幅1mm のリング20本に分ける
  2. リングごとに、0.5° おきに「その角度がどれだけ暗いか」を測る。照明のむらなどゆるやかな明暗は差し引いて、細く暗いものだけを残す
  3. 角度ごとに20本分の暗さを並べ、「20本中14本以上(7割)で暗い」角度だけを残す
  4. 残った山の重心を針の角度にする(0.5° より細かく求まる)
リング20本と角度ごとの暗さで針を見つけるリング方式の模式図
リング方式の模式図 ― リング20本 × 角度ごとの暗さ
文字盤の上のもの暗いリングの本数結果
針ほぼ20本すべて残る
針(一部が文字に重なる)重なった数本以外は暗い残る
数字・文字数本消える
目盛り線外周の数本消える

最初は半径を太い3本の帯に分け、「3本とも暗い」角度を針にしていました。ところが、針が1本の帯で文字に隠れたり、先端が細くて外側の帯で薄かったりすると、針そのものが消えてしまいました(50点中16点が未取得)。「7割以上」にして一部のリングの不調を許すようにしたところ、未取得はほぼなくなりました。

LED照明付きのフードで試験した疑似圧力計
フードにしてLEDを点灯させたがモノにならなかった

リング20本式になる前には試行を繰り返しました。最終的に「ゲージをチャンバーで密閉しないと無理」という結論にAIとのチャットでたどり着きましたが、私が反対したため、AIから方針変更のアイデアが出ることになりました。

赤い置針と「読めないときは読まない」

圧力計の赤い置針も、中心から伸びる線なのでリングの方法では消えません。そこで置針の位置(今回は0.81MPa)を設定しておき、その前後3° は針の候補から外しています。針が置針に重なったときは、「そこがいつもより明らかに濃い」場合だけ針とみなします。

もう一つ大事にしたのが、許されないのは「間違った値」で、「値なし」は許される、という考え方です。次のようなときは値を出さず、「未取得」として記録します。

  • 黒丸4つがそろわない(手・影・照明の映り込み)
  • 4つの並びがカメラで撮った円として不自然、または紙リングの上にない(別の黒い点を拾った)
  • 針の暗さが8%未満、または針以外の最も暗い場所の1.5倍未満

実際には、3枚撮って値が出たものの中央値を1回の値にしています。

実験結果

疑似圧力計の針をランダムな位置に50回動かし、針の正解と読み取り値を比べました。どの条件でも誤読は0です。

条件値が出た回数誤読平均誤差最大誤差
正面・天井照明48/5000.26%FS0.74%FS
斜め約42°・天井照明48/5000.40%FS0.98%FS
斜め・デスクライトを追加50/5000.50%FS1.19%FS
斜め・薄暗い(背後にPCモニター)47/5000.50%FS1.09%FS

値が出なかった回の大半は、針が赤い置針にぴったり重なったときです。疑似圧力計はギアのガタで針の位置自体に1%FS程度のばらつきがあるので、誤差にはその分も含まれています。

読み取った値は5秒ごとにPCのサーバー(Flask)へ送り、ブラウザでトレンドグラフとして見られるようにしています。

XIAOの読み取り値と指令値のトレンドグラフ(赤い点は未取得)

画像の白線がUNOに出したステッピングモーターの指令値。青い線はXiaoの取得値。赤いドットは未取得。

マーカー読込はXIAOにWi-Fi接続して

XIAO ESP32S3 Senseの設定画面(マーカー検出)
XIAO ESP32S3 Senseの設定画面(中心と目盛りの設定)

マーカー(上下左右)の読み込みと中心位置設定・0位置最大目盛値はブラウザを通してWi-Fi接続で行います。一度設定すると若干角度を変えようが距離を変えようが自動探索します。

つまずいた点と今後

つまずいた点対策
数字や文字に針が隠れて消える太い帯3本 → 細いリング20本の7割判定
斜めからだと赤い置針を読む視差の補正と、置針の角度の除外
黒丸が計器の黒い縁や影に引っ張られる「周りが全周明るい丸」を探す方法に変更
カメラを大きく動かすと別の黒い点を追いかける紙リングの上にあるかを毎回確かめ、外れたら画像全体から探し直す
照明がカバーガラスに映り込むと黒丸が消える庇を回して映り込みを遮る(偏光フィルムも検討中)

残っている課題は、更新の速さ(1回約3秒)と、針が置針に重なる位置での未取得です。機械室が消灯したときの対策。他のカメラ付きマイコンや機械学習の方法とも比べていく予定です。このゲージの針はゆっくり動いているので蒸気ヘッダのゲージ等では問題ないが針が振動したり、冷却水ポンプなどはゲージ自身が激しく振動している個所もあるのでそこらへんも課題です。

紙リングのマーカーを貼った圧力計と斜めに取り付けたXIAO ESP32S3 Sense

ソースコード: https://github.com/whiskerpad/Xiao_gauge-reader

XIAO ESP32S3 Senseの利用方法が分からない場合はコメントください。

注意

個人の工作です。動作は保証しません。

UNOのコードはArduino IDEで記述されていますが、XiaoのコードはPlatform IOで記述されています。

コメント

タイトルとURLをコピーしました