こんにちは。
またまた、前回の投稿から1年ほど経ってしまいました。少し時間の余裕が出来たので前へ前へと継続したいと思います。
今回はカメラによる3次元寸法計測の番外編で「荷物の３次元寸法計測」を行うスマホアプリと専用計測器の紹介です。前回(2020年)「Raspberry PiとPiカメラによる寸法計測」で筆者の実験を紹介しましたが、2021年にスマホで荷物の３次元寸法計測が可能なスマホアプリがITメーカからリリースされ、2023年には専用機が別のメーカから発表されました。
ひとつ目は、
スマホアプリ：Automagi株式会社：https://www.automagi.jp/
ただし、残念なことに2023年に汎用サービス(実際はサブスクリプション)を終了し、個別開発対応になっていました。計画していたほどには商売にならなかった？のでしょうか。市場要求と製品にズレがあったのか、それにしても工業(市場)製品と違いさすがにITメーカは決断が速いですね、1～2年で見切りをつけています。投資回収が出来ているのか解りませんが、設備投資も少なくハード製品を作らないITメーカのメリットとも言えるのでしょう。
もうひとつは、
専用器：株式会社マクニカ：https://www.macnica.co.jp/
Webには試作機との文言がありましたので、量産品の発売は先になるのかもしれません。同社は半導体商社ですが、今時は何処の商社も開発や製造部門を外注を含めて持っており、メーカから製品開発を元請けすることも行っています。
今回はこのふたつの技術をそれぞれのメーカ資料をもとに紹介したいと思います。スマホアプリはステレオカメラとLiDARによる計測、専用機は3Dイメージセンサによる計測です。
スマホアプリ：「Logi measure（ロジメジャー）」
スマホ(iPhone)のカメラとLiDAR(スマホ内蔵)によって取得した画像から、荷物の３辺の長さを画像処理を行い求めています。同社の特許(特開2019-211425)によれば、ステレオカメラによって取得した画像から物体検知アルゴリズム(SSD等)によって「対象物を特定」、「(貨物)頂点(V)を検出」、「深度マップ生成」、「三次元空間座標」から「三次元位置(X,Y,Z)」を特定し「頂点(V)」から三辺の寸法(距離)を求めているようです。
計算(演算)結果と思われますが、最少表示が0.01cmになっています。一般の荷物ではここまでの分解能は要求されませんが、荷物の寸法計測としては分解能は充分です。また、定型荷物だけでなく非定型荷物の外形計測をできる機能があり、形状にはこだわらない使用方法が可能なようです。計測精度は3辺合計15cm～180cmの形状で計測誤差±1cmとなっています。ただし、計測の環境条件や撮影方法に制限＝条件があり、条件に沿った環境・撮影を行う必要があるようで、実感としてカタログ精度を実現するには理想的な環境条件が必要になりそうです。
スマホカメラによる三角測量では、環境条件は止むを得ないと思えますが、手軽に計測できるメリットは大きいと考えます。また、産業用の業務アプリケーションとしてはもう少し広がりが欲しいかも知れません。
著者は画像処理に詳しくないので夫々の詳細を解説できませんが、使用されている技術は一般的な画像処理の技術です。ステレオカメラを使用していますので、原理は三角測量になります。専用のハードウェア使わず、カメラが標準装備されているスマホを利用して、アプリで実現し商品化しているのが大変面白いと思います。ビジネスモデルがサブスクなのは普通としても、市場形成がされなかったのは残念です。
画像処理アルゴリズムはWebや専門書、文献等があり、特許内容は公開されていますので詳しく知りたい方はそれぞれを参考にしてください。
ハードメーカ(計測機器)はスマホで技術的に出来ることは解っていても、自社の計測器としての仕様を満足できるか、市場要求を実現できるか等を、時間をかけて調査・検討します。また、ハード＝計測器を売るのが商売ですので自社(又はOEM)で製品を作る前提で考えます。メーカは多くの部材を調達し開発、製造を行うことになりますので市場に投入されると息の長い製品にしないといけません。
特に計測器や測定器は使われ方によって「基準」となる場合がありますので、長期間使用され保守も含めて数年で終了するようなことはあり得ません。
ただ、これはハードメーカ側からの発想とも考えられ、使用者側からみればスマホアプリで充分と考えられる場面もあると思われます。また、ハードメーカの自社機器のアプリケーションとして活用できる場面があるようにも思います。
使用者の選択肢が増えるのは良いことだと思いますので、終了してしまったのは残念ですが、いずれ必要とする市場が現れてほしいものです。
筆者は画像処理技術もPythonも初心者ですが、簡単な手法で三次元計測を実現したいと考えており、スマホアプリの画像処理技術もまだまだ勉強不足を感じています。今回のような処理が基本的に必要になるのかもしれませんが、頑張りましょう。
専用器：「荷物サイズ計測＆料金自動算出端末」
Webによると「ToFセンサ」を搭載したハンディタイプの荷物サイズ計測と料金算出が出来る端末です。ToFセンサにはInfineon社の3DイメージセンサIRS2381Cが使用され、「OCRカメラ」は荷物伝票の文字情報を読み取り運送料金算出が出来るようになっています。ToFセンサは自動車や家電にも搭載されハード=チップ・モジュールは使いやすくなっているようですが、データ処理にはまだノウハウが有りそうです。信号処理も技術革新が進みますので、今後使いやすいセンサになると考えられます。
Infineon社とマクニカ社のWebによると、3Dイメージセンサは振幅と位相差を計測し別のホストCPUで深度マップ演算や画像処理を行うようです。
3Dイメージセンサは１カメラで3次元データを取得できるため、ホストCPU側の画像処理は必要ですが大変優れたセンサと言えそうです。計測範囲や分解能は対象物によって検討する余地はありますが、車載用が中心になるので新しい製品・技術が今後も開発され、開発ツールを含めて工業用に簡単に使用できる環境が形成されてゆくのではと思われます。
ToFセンサは近年急速に発展していますが、車載用の大マーケットがあると必然とも言えます。工業用に活用できるようになるのはありがたいのですが、車載用は世代交代や保守化の大きなリスクがありますので注意が必要です。
著者は10数年前、ToFセンサがミリ波や光で話題になり始めたころ、大学の研究室(ミリ波)に複雑なハードを使用せず簡単に実現する方法は無いか、と相談したことがあります。その時「専用の半導体を含めて開発しないと一般的に使用するのは難しいでしょう」と言われました。理論があっても大規模ハードロジックでしか作れない、あるいはハードロジックだけでは実現が難しかったものが、需用さえあれば半導体チップとして実現し使用できるようになるのは大変うれしいことですし、素晴らしいことです。
前回、ステレオカメラやプロジェクタ方式ではなく、１カメラで3次元計測を実現したいと書いた著者の希望とは少しズレていますが、3Dイメージセンサを使用すれば１カメラとしては実現可能と考えられます。ただ、著者としては１カメラの画像から貨物寸法を計測できる手法を、引き続き検討して行きたいと考えています。また、この手の3Dイメージセンサの原理や使い方、センサの信号処理等も引き続き調査を進めたいと思います。この手の半導体センサ類は工業用にも市場(用途、需要)があると考えられます。
著者はハード屋なので、スマホアプリより3Dイメージセンサに興味の比重が高いのですが、スマホも単独使用ではなく工業用途の現場環境によって、システムの一部として位置付ければ市場がありそうにも思えます。例えば、使用環境は違いますがスーパーマーケットでは専用アプリを使用して、食材のバーコードをスマホで読み、そのまま自動レジ(無人)でスマホで決算(支払い)できるようになっています。著者は使用したことはありませんが、わざわざレジでバーコードを読ませて支払うより簡単で便利かもしれません。
通販倉庫や貨物倉庫では同じように、物品の棚からバーコードを読み、品物を取り出しで包装・出荷(配送)しています。ロボットの導入も進んでいますが大半の現場ではバーコードリーダー(BCR)やピッキングカートを使用して「人」が作業しており、省力化、省人化は常に課題になっています。
話はそれますが、読者もご存じのようにユニクロは商品タグにRFIDが使用され、レジの所定の位置に商品を置くと自動で料金が計算されるようになっています。RFIDの単価が使用可能なまで下がっているのか解りませんが、省人化のメリットが原価アップを上回っているのでしょう。ちなみにスーパーの関係者によると、求人しても人が集まらず無人化(自動化)を進めざるを得ないようです。人口減少の影響や働き方改革の影響等、様々な日本の全体の問題が潜んでいるようです。ただし、メーカ(ハード、ITとも)にとってはビジネスチャンスとも言えますが。
閑話休題。
半導体商社が製品開発を請け負っている現状を書きましたが、中小零細のオリジナル製品メーカはこのような開発外注化を進めるメリット、デメリットを十分把握して活用することを望みます。著者は前職で大企業の技術部門と仕事をしたことがありますが、著者が考える技術者ではなくコーディネータ(？)に徹しており、技術的なことは専属の外注任せでした。外注先はさすがにそれぞれの専門家で、ある意味そんな専門外注を集めてプロジェクトを進めることが本業なのでしょう。多くの事業をこなさなければならない大企業にとっては必然なのかもしれません。もっともこの技術部門自体が、社外の技術を利用して自社製品にアッセンブリする部門であったのも事実で、会社規模が大きくなるとこのような技術部門も必要になるのでしょう。
ただ、自社オリジナル技術で戦う中小零細企業に必要なのは、自社技術の先鋭化、深度化を図り他社に負けない製品・サービスを市場に提供することです。その為にも優秀な人材を育て技術者のスキルアップを続けて行く必要があります。技術で成長するために人材育成には惜しみなく時間と資金を投入して欲しいですね。もちろん自社の理念をブレずに守り進化させることは重要です。
今回は思うような技術の解説が出来ず物足りなかったと思います。今回の画像処理技術を含めて筆者も勉強して行こうと思います。ある程度解説できるようになってから改めて投稿したいと思います。
ご意見、ご要望、ご質問、ご感想をお待ちしております。
技術的なアドバイス、コンサルティング及び技術開発、製品開発のお手伝いを行います。
ご要望があれば「お問い合わせ」からご連絡ください。
スマホアプリ：Automagi株式会社：https://www.automagi.jp/
特許(特開2019-211425)：計測システム及び計測方法
専用器：株式会社マクニカ：https://www.macnica.co.jp/
Infineon社Web：
https://www.infineon.com/cms/jp/product/sensor/tof-3d-image-sensors/
参考文献
「Python」、「OpenCV」、「Raspberry Pi」の各書籍。
