---

　富士通研究所と富士通研究開発中心有限公司（FRDC）は、大量の学習データを準備しなくても、映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer（アクトライザー）」を開発した。

　従来、AIで人の行動を認識するためには、認識対象となる行動ごとに大量の学習用の映像データが必要となるほか、新たな行動を追加するにはまた一から映像データを収集する必要があり、実際には現場導入までに数カ月の時間を要するという課題があった。

　今回、人の行動は、歩く・首を振る・手を伸ばす、などの人の基本的な動作の組み合わせなどから構成されているという特徴を活かして、約100種の基本動作をあらかじめ学習して認識できるようにしておき、それを組み合わせることで、不審行動や購買行動といった人の複雑な行動を認識することを可能にした。

　同技術により、認識したい行動を基本動作の組み合わせで指定できるため、人の様々な行動をそれぞれ認識するシステムを短期間で現場に導入することが可能になる。これにより、従来目視で行っていた不審者の発見の自動化、小売店での来店者の購買行動の認識からそれぞれの商品の関心度の調査の実施、工場での熟練者と初心者の技能比較など、様々な業務のセキュリティ向上や現場改善などの課題解決を支援する。

　開発の背景

　近年のAI技術の進歩に伴い、ディープラーニングによって映像から人の行動を認識することが可能となってきている。しかし、例えば不審行動を認識するためには、その行動が含まれる映像を大量に準備する必要があり、実質的に収集できない場合や、時間と手間が多大にかかる場合があるため、簡単に試すことが難しく、現場への導入が進まない要因となっている。

　課題

　認識したい人の行動が、例えば、歩いている・走っている・止まっているといった単純な日常の基本動作だけであれば、映像データを収集することは比較的容易なため、映像データのどの部分に認識したい動作が写っているかの情報を付与して学習することで、認識することは可能。一方で、例えば家の周りをきょろきょろと見渡しながら行ったり来たりするような不審行動などは、複数の動作が組み合わされて構成され、パターンも多様に存在する複雑な行動となり、その映像データを大量に収集することは難しく、現実的に認識することができなかった。

　開発した技術

　今回、富士通研究所とFRDCは、大量の映像での学習が不要で、複数の動作が組み合わさった複雑な行動を認識できる「行動分析技術 Actlyzer」を開発した。同技術の特長は以下の通り。

1. 複雑な行動を構成する基本動作を高精度に認識

   複雑な行動を構成する要素となる約100種類の基本動作を独自に定義し、この全ての基本動作をディープラーニングにより認識できる技術を開発した。同技術では、あらかじめ大量の映像データから認識したい基本動作を学習することで、約100種類の基本動作を平均90%以上の精度で認識できる。これにより、歩いている・走っているという基本動作のほか、例えば、首を右に回す、首を左に回す、顔を上に傾ける、顔を下に傾けるなどの細かい基本動作においても、それぞれ高精度に認識できる。

2. 基本動作の組み合わせから複雑な人の行動を容易に認識

   基本動作の組み合わせや順番、発生場所、行動の対象などを指定することで、不審行動のような複雑な行動を認識できる技術を開発した。同技術により、簡単な設定で様々な行動を認識することができ、またパラメーター変更などによりすぐに認識精度を調整することができる。

   例えば、扉の前にいる、座る、鍵穴を見る、鍵穴に手をあてる、というように基本動作の組み合わせとその発生場所、および行動の対象を指定することで不審行動として認識できるようになる。さらに、首を左右に回してあたりを見回すなどの条件の追加や、各行動の継続時間の指定により、認識の精度を調整することが可能となる。

　効果

　屋内や屋外で撮影された21種類の映像データを使って、検出したい8種の不審行動（家の様子を伺う、凶器を振り回す、など）を認識する実験を行ったところ、全ての不審行動が認識できることを確認した。この8種の不審行動を検出するための基本動作の組み合わせのルール作りは1日で作成できたため、お客様は1日の評価実験だけで同技術の現場への適用可否が判断できる。

　なお、同技術は、不審行動に限らず、店舗での来店客の購買行動の分析、店員の応対動作の確認、製造現場での作業時間測定や作業手順の確認など、様々な業種・業務において映像から人の行動を認識し、業務品質の向上や効率化にも活用できる。

〈様々な業種・業務への適用イメージ 〉

　今後

　同技術は、実際の現場での実証を終えており、様々な分野において提供可能。また、富士通のAI技術「FUJITSU Human Centric AI Zinrai」のZinrai活用支援サービスとしても実用化を目指す。

---

　コニカミノルタは、同社の成長戦略として強みである画像・映像の高速処理技術を活かした画像IoT、AI*技術開発を推進しているが、このほどAIハードウェアに関する研究を国立大学法人東京大学 大学院情報理工学系研究科 コンピュータ科学専攻 高前田伸也准教授と産学連携により、ディープラーニングを高速に処理するハードウェアのためのコンパイラ「NNgen（エヌエヌジェン）」を開発し、このコンパイラをオープンソースとして一般公開することを発表した。

　【提供価値】

　ディープラーニングの活用により、画像・映像の解析処理などの分野で劇的な精度向上が実現されてきた。一方で膨大な計算が必要となるため、特に現場にあるIoTデバイス（エッジデバイス）での活用に向けて省電力かつ高性能な専用ハードウェア（アクセラレータ）の重要性が増してきている。このような専用ハードウェアを実現する方法の一つに、回路構成の変更可能な集積回路である「FPGA（Field Programmable Gate Array）」を用いる方法がある。近年では、FPGAと高性能なCPUや高速I/Oなどがワンチップに集積されたFPGAが製品化され、システム全体をワンチップで構成でき、性能と柔軟性を高い電力効率で実現できる。ディープラーニングモデルを手軽にかつ効率的にFPGA実装できるコンパイラ「NNgen」を活用することで、従来は技術的に困難であった様々なエッジデバイスへのディープラーニング技術の導入が可能になる。

　【NNgenについて】

　「NNgen」は、用途に応じて構築・学習済みのディープラーニングモデルを、高速に処理できる専用アクセラレータをFPGA上に手軽にかつ効率的に実装するためのドメイン固有型の拡張可能な高位合成コンパイラ。モデルに特化したハードウェアアクセラレータのハードウェア記述（Verilog HDL）およびIPコア設定ファイル（IP-XACT）を生成する。コニカミノルタと東京大学・高前田准教授はコンパイラのオープンソース化を通じて、より幅広い開発者、研究者に利用してもらい、コンパイラの進化を期待すると共に、AIの普及をサポートし社会の発展へ貢献していくことを目指している。
　NNgenは、ソフトウエア開発のプラットフォームGitHubにて、ソースコードを公開している。

• https://github.com/NNgen/nngen

　【オープンソースカンファレンスへの出展について】

　コニカミノルタは、オープンソースカンファレンス2019/Fallへ出展し、NNgenのデモンストレーション及びセミナーを行う。

日程   2019年11月23日(土) 10:00～18:00（展示：11:00～17:30） 11月24日(日) 10:00～17:30（展示：10:00～16:00） ※11:00より東京大学・高前田准教授によるNNgenセミナーを予定   展示会場 明星大学 日野キャンパス 28号館 2F セミナータイトル 日 NNgen: ディープニューラルネットワークのモデル特化FPGAハードウェアを生成するオープンソースコンパイラ

---

　シャープは、日本放送協会(NHK)と共同で、30V型4Kフレキシブル有機EL(OLED)ディスプレイを開発した。
　同開発品は、対角30インチ(約76cm)のフレキシブルなフィルム基板上に、RGB(赤・緑・青)の各色に発光(RGB発光方式)する素子を形成した有機ELディスプレイであり、この構成によるものとして世界最大※1となる。各色に発光する素子を蒸着方式で高精度に形成することで、カラーフィルターを不要とし、高い光利用効率を実現している。また、フィルム基板を用いることで、薄さ約0.5mmのパネル表示部をコンパクト(半径：約2cm)に巻き取り、下部の筐体にすっきりと収納することができる。

　有機EL素子を駆動する薄膜トランジスタとしてIGZO※2を採用。NHK独自の信号処理やパネル駆動技術の活用により、画面の明るさの均一性や動画の鮮明度を向上させている。

　同社は、2018年6月に日本初となるスマートフォン向けフレキシブル有機ELディスプレイの量産を開始している。

　同開発品は、11月13日(水)から15日(金)まで幕張メッセ(千葉市美浜区)で開催される国際放送機器展「Inter BEE 2019」のNHK／JEITA(電子情報技術産業協会)ブースにて展示する。

　■ 主な特長

　1．世界最大、対角30インチのフィルム基板を用いたカラーフィルターレス(RGB発光方式)の高精細4Kフレキシブル有機ELディスプレイ

　2．カラーフィルターレスのパネル構造により、高い光利用効率を実現

　3．フィルム基板の柔軟性によって、表示部をコンパクトに収納(巻取半径：約2cm)

　4．NHK独自の信号処理やパネル駆動技術により、明るさの均一性や動画の鮮明度を向上

※1 フィルム基板上に、カラーフィルターを用いることなく、RGB(赤・緑・青)各色に発光(RGB発光方式)する有機EL素子を備えたディスプレイとして(2019年11月8日現在。シャープ調べ)。 ※2 In(インジウム)、Ga(ガリウム)、Zn(亜鉛)、O(酸素)により構成される酸化物半導体。有機ELや液晶ディスプレイを駆動するTFT(薄膜トランジスタ)の半導体材料として用いられる。

---

---

---

---

---

　セイコーエプソンは、このほど、PrecisionCoreプリントヘッドを搭載した『R&D用インクジェット装置』を開発した。

　同製品は、インクジェット技術の応用^※に関する研究開発を促進し、インクジェット技術の新たな用途を拡大することを目的に開発したもの。インクジェット技術を用いた生産プロセスの革新や、インクジェットに適合した新素材の開発などに取り組む企業・研究機関向けに、2020年3月から日本国内での販売を開始する予定。

　エプソンは、長期ビジョン「Epson 25」の第2期中期経営計画において、基本方針のひとつとして「資産の最大活用と協業・オープンイノベーションによる成長加速」を掲げている。特に、インクジェットイノベーションにおいては、PrecisionCoreを中心としたコアデバイスを用いたインクジェットヘッド外販ビジネスとオープンイノベーションの強化を目指している。

　『R&D用インクジェット装置』の開発は、この方針に基づく、インクジェット技術を軸としたオープンイノベーションの取り組みの一つ。エプソンは1990年代からインクジェット技術の工業分野への応用に取り組み、2006年にはインクジェット印刷による液晶カラーフィルターの製造装置を実用化した実績がある。また、回路基板などのデバイスの試作やOLEDインクの開発も、自社開発したインクジェット描画装置を用いて行っており、そのノウハウが同製品に生かされている。

　『R&D用インクジェット装置』は従来の社内装置と比較して大幅に省スペース化しながら、お客様の使いやすさを高めており、インクの噴射性能評価から任意の素材を用いた試作まで行うことができる点が特長。また商品化後も、導入されたお客様のニーズに応じて継続的に機能を拡充し、オプションとして提供する予定。

　さらに、この『R&D用インクジェット装置』には、高精度で耐久性に優れたエプソン最先端のインクジェットプリントヘッド「PrecisionCoreプリントヘッド」を搭載している。「PrecisionCoreプリントヘッド」は、最小単位であるプリントチップを組み合わせることで、多様なヘッド構成に対応できる拡張性も有しているため、『R&D用インクジェット装置』を用いた研究開発を通じてインクジェット技術の新たな用途が確立された際には、同品質のプリントヘッドを実用に適した構成で供給することも可能となる。

　なお、同製品の開発に先行する取り組みとして、7月にはインクジェットを用いたフレキシブル基板の製造・販売を行うエレファンテックと資本業務提携を行った。また富士見事業所（所在地：長野県諏訪郡富士見町）に開設した「インクジェット イノベーションラボ富士見」を拠点として、同社を含め、企業・研究機関等と連携した研究を開始している。


　■開発製品の概仕様

名称 R&D用インクジェット装置 サイズ 横幅910mm×奥行900mm×高さ1860mm プリントヘッド PrecisionCore 主な機能 インク滴の飛行観察機能、インク滴の着弾観察機能、 100mm角ステージへの高精度描画機能 販売開始時期 2020年3月予定

※インクジェット技術の応用 「液状の材料を正確な位置に、必要な量だけ吐出する」というインクジェット印刷の特性を生かして、紙に文字や画像を印刷する従来の用途だけではなく、新たな用途に技術を応用する取り組みのこと。 一例として、銀ナノインクを基材に印刷して配線基板を作る、OLEDインクを印刷してディスプレイのカラーフィルターを作るといった用途があり、今後はバイオプリンティングなど幅広い分野への応用可能性も期待されている。

---

　NECは、従来の半分程度の学習データ量でも高い識別精度を維持できるディープラーニング技術を新たに開発した。

　識別精度の向上には、識別が難しい学習データをより多く学習することが有効だが、学習に適した質の良いデータを十分に確保することが重要。同技術は、ニューラルネットワーク(注1)の中間層で得られる特徴量を意図的に変化させることで、識別が難しい学習データを集中的に人工生成します。これにより、少ない学習データ量でも識別精度を大きく向上させ、ディープラーニングを適用したシステムの開発期間短縮に貢献する。

　具体的には、ディープラーニング技術の適用に必要な学習データ量を半分程度に削減する。また同技術は、データの種類を問わず汎用的に適用可能であることから、専門家による調整が不要になる。これにより従来、学習データ収集時間やコストの高さが阻害要因となっていた製品の外観検査やインフラ保全など、さまざまなシステムの早期立ち上げを可能にする。

　近年、ディープラーニング技術は画像・音声認識を主体に飛躍的な発展を遂げ、セーフティ、ものづくり、インフラ保全など幅広い分野での活用が広がっている。例えばものづくりの分野では、製品の外観検査において、人材確保が難しい熟練検査員をカメラによる画像認識で代用したいという要望がある。外観検査をディープラーニングで行うには不良品データを学習する必要があるが、発生頻度の低い不良品は大量に得ることが難しいため、不良品データの収集や不良品を模擬したデータ作成に多大な時間とコストを要していた。

　このような問題に対し、従来はデータ拡張(注2)と呼ばれる、学習データを意図的に加工・変形させることでデータ量を人工的に増やす手法が用いられていたが、識別精度を高める効果的な学習データの生成までには至っていなかった。さらに、対象のデータ種類に応じて専門家がデータの増やし方を調整する必要があるため、様々な種類のデータに短期間に適用することは困難だった。

　

同技術の特長

1. 必要となる学習データを従来技術に比べ半分に削減
   識別精度の向上には、識別が難しい「苦手な学習データ」をより多く学習することが有効であると広く知られている。データ拡張と呼ばれる従来技術では、ニューラルネットワークに入力する前にデータを意図的に加工・変形させ、学習データ量を人工的に増やしていた(例えば画像に対しては、回転や拡大・縮小、ノイズの付加など)。しかし、このような増やし方では、「苦手な学習データ」の量が不十分で、かつ識別精度向上に寄与しないデータも多く生成され、十分な学習効果が得られなかった。
   同技術は、ニューラルネットワークの中間層で得られる特徴量を意図的に変化させることで、識別が失敗しやすい「苦手な学習データ」を集中的に人工生成し識別精度を高める。同技術を公開データベース(手書き数字認識：MNIST、物体認識：CIFAR-10(注3))にて評価し、学習データ量が半分でも従来技術と精度が変わらないことを確認した。
2. データの種類の違いによる専門家の調整が不要
   従来のデータ拡張では、データの種類毎にデータの生成方法を変える必要があった。例えば、画像では大きさや回転角度など、音声では声の高さや話す速さなどを変えることでデータを人工的に増やしていた。さらに、専門家がデータ生成方法を慎重に選び、学習に悪影響を及ぼすデータが発生しないよう調整する必要があった。
   同技術は、ニューラルネットワーク内部の数値に基づいて自動的に学習データを生成するため、多様なデータに対して汎用的かつ効率良く適用することができ、専門家による調整を不要にする。

　なお、今回の成果に関してニューラルネットワークの国際会議「International Joint Conference on Neural Networks」(IJCNN2019、期間：2019年7月14日(日)~19日(金)、場所：ハンガリー・ブダペスト)において、7月15日(月)に発表している。(https://www.ijcnn.org/)

(注1) ニューラルネットワーク:人間の脳の仕組みを模したモデリング手法。 ニューラルネットワークにデータを入力すると、そのデータが中間層を伝わり、出力層から認識結果として出力される 。 (注2) データ拡張:データを加工・変形することで擬似的なデータを生成する手法。例えば、画像認識では、入力画像の大きさや回転角度を変えることでデータを生成する。 (注3) MNIST：0から9までの10種類の手書き数字画像からなるデータセット。 CIFAR-10：飛行機、鳥、犬など10種類の画像からなるデータセット。 いずれも機械学習の精度評価に標準的に用いられる公開データセットである。

---

　ソニーは、米国・カリフォルニア州ロサンゼルスにて7月28日（現地時間）より開催されているコンピュータグラフィクスとインタラクティブ技術の国際会議「SIGGRAPH 2019」において、ホログラムスクリーン技術を使った360°映像表示可能な円筒透明スクリーンディスプレイ（開発品）を展示し、注目を集めている。

　同開発品は、透明な円筒スクリーンに映像を投影することで、周囲360°どこからでも映像を楽しむことができるディスプレイ。通常、光は透明な物体に対して透過するため、透明ディスプレイは、その透明度と投影された映像の輝度を両立するのが困難だった。今回ソニーは、高い透明度を保ちながら高輝度の映像表示が可能なホログラムスクリーンを新たに開発した。また、独自の円筒投影光学設計により360°全方位から鮮やかな映像の視聴を可能にした。これらの技術により、周囲の空間と映像が融合した新たな映像体験を提供する。

360°映像表示可能な円筒透明スクリーンディスプレイ（開発品）

1. 360°高速カメラトラッキングによる2D映像への実在感付与
   毎秒1,000フレームで撮像が可能な高速ビジョンセンサー（IMX382）を用いた高速カメラにより、視聴者の位置を360°シームレスにリアルタイムトラッキングすることで、常に円筒内にあるように映像を表示し、2D映像でありながら実在感の高い表現を実現している。
2. 開発品を複数台連動させることによる新しい空間演出アプリケーションの提案
   同開発品を複数台使用し、それぞれの映像を連動させたデモ展示を行う。映像クリエイターに新たな空間演出手法を提案する。
3. 360°映像を活かした、光と音のリアルタイムインタラクション
   360°映像とそれに協調するサウンドをハンドジェスチャーでリアルタイムに操作し、新しいインタラクティブな体験をお楽しみいただけるアプリケーション。
   同アプリケーションはソニー・インタラクティブエンタテインメントが開発を行い、デモ展示に協力している。

　SIGGRAPH 2019（Special Interest Group on Computer Graphics）

　米国ACM（Association for Computing Machinery）主催によるコンピュータグラフィクスとインタラクティブ技術関連で世界最大規模の国際会議。（SIGGRAPH 2019のWEBページ）

• 会期：
  2019年7月28日（日）〜8月１日（木）
• 会場：
  米国カリフォルニア州ロサンゼルス　ロサンゼルス・コンベンションセンター
• ソニーブース： Emerging Technologies　ET-118

---

　NEC は、熟練者の過去の行動履歴データから、その卓越した認知・判断に基づく意図を意思決定モデルとして学習し、高度なスキルが要求される業務を大幅に効率化するAI技術を開発した。本技術を、属人的な業務の意思決定プロセスに適用することにより、業務負荷を大幅に軽減することができ、業務スピードの大幅な向上が可能となる。

　本技術は、逆強化学習(注1)のフレームワークをNEC独自のアルゴリズムで拡張し、従来、技術者が行っていた意思決定モデルの構築を自動化する。人手では定式化が困難な意思決定問題に対して、熟練者の過去の行動履歴データから意思決定モデルを作成することで、熟練者と同等の判断を迅速かつ自律的に導き出す。本技術は、主に以下の領域に対して適用が可能。

　1) RPA(Robotic Process Automation)を適用できない複雑な意思決定を必要とする業務領域(例：営業活動やプラント運転など)

　2) 人の判断・動作を物理的に再現する領域(例：自動運転やロボット制御など)

　また、今回開発した技術をTV放送局の広告スケジューリング業務(注2)に適用し、実データを使った性能評価を実施した。本業務は、各CMにおける要件・制限事項と、放送枠の活用方法など放送局側の要件の両方を考慮しなければならず、高度なスキルやノウハウが要求される。この業務に本技術を活用した結果、経験豊富な熟練者と同等レベルの意思決定を10倍以上のスピードで実現できることを確認した。今後、熟練者への負荷が高い様々な業務への適用を進め、人のパートナーとなりうるAIの開発に取り組む。

　背景

　近年のディープラーニングに代表されるAIの発展に伴い、商品の検品検査や需要予測、顧客の嗜好分析などの領域で、AIの活用が増えている。
　しかし、意思決定問題など、高度なスキルが要求される分野への適用においては、利用可能な品質になるまでに繰り返しのヒアリングや熟練者の無意識行動の反映等を含め、膨大な試行錯誤が必要となっていた。また、導き出される結果と熟練者の判断レベルに乖離があり、この分野での適用が困難だった。

　本技術は、NEC独自の機械学習アルゴリズムにより、熟練者が行っている高度な業務の意思決定を再現することができ、これまで以上に幅広い領域で業務効率の向上を可能にする。

TV放送局の広告スケジューリング業務での適用内容

　本技術の特長

---