つみかさね

一球一球のつみかさね 一打一打のつみかさね 一歩一歩のつみかさね 一坐一坐のつみかさね 一作一作のつみかさね 一念一念のつみかさね

口パクの顎の動きで音声認識

口パクの顎の動きで音声認識 イヤフォンに後付け可能
https://www.itmedia.co.jp/news/articles/2103/12/news050.html

JawSense | Proceedings of the 22nd International Workshop on Mobile Computing Systems and Applications
https://dl.acm.org/doi/10.1145/3446382.3448363

顎の動きで音声認識
アメリカとインドの大学の研究者グループが2021年2月、「ジョーセンス(JawSense)」と名付けられたウェアラブルバイスを発表しました(jawは顎の意味です)。ジョーセンスは、なんと顎(あご)の動きから音声認識を行うデバイスで、耳に装着することで、ハンズフリーで利用が可能です。

顎の動きで音声認識という技術は、音を出さなくても顎の筋肉の動きや変化から音声を推測する技術です1。この技術は、音声認識に特化したウェアラブルバイス「ジョーセンス(JawSense)」として開発されています。ジョーセンスは、耳に装着することで、顎関節付近の皮膚表面に搭載した3軸加速度センサーで顎の動きを捉えます。このセンサーは、うなずきや頭の動き、あくびなど、人の動きに起因する非音声信号の影響を受けにくい設計になっています。

この技術のメリットは、音を出すことが難しい状況やプライバシーが重要な場面でも音声認識ができることです1。例えば、発話障害や騒音環境にある人や、機密情報を扱う人などが利用できます。また、合成音声や文字変換などと組み合わせることで、コミュニケーションの幅を広げることができます。

この技術の課題は、音声認識の精度やユーザーごとの最適化などです。現在は9つの音素に対して92%の精度で認識できるとされていますが、まだ実用レベルには達していません。また、AIを用いてユーザーの発話パターンや顎の動きを学習することで、より自然な音声認識が可能になると考えられます。
以上が、顎の動きで音声認識という技術についての簡単な説明です。この技術はまだ発展途上ですが、将来的には音声コミュニケーションの新たな形を提供するかもしれません。

動画
https://shiropen.com/wp-content/uploads/2021/03/video.mp4

(1) HotMobile 2021 - JawSense: Recognizing Unvoiced Sound using a Low-cost Ear-worn System - YouTube
https://www.youtube.com/watch?v=5yxYtHGS-uU