こんにちは！コンバージングテクノロジー研究所の石黒桜子です。エキマトペの開発PMを担当しております。
2025年2月25日から、JR上野駅1・2番線ホームで3度目の実証実験を実施させていただきました！
今回は、JGG）村田と特にこだわりをもって開発した点についてご紹介をさせていただきます。
はじめに
我々はコンバージングテクノロジー研究所の中でも、障害当事者など様々なステークホルダーとともに、アイデアとテクノロジーを掛け合わせることで新たな価値やイノベーションを創出することを目指すチームです。プロジェクトを通じて、人々の「DE&Iの意識・行動変容」によるWell-beingなまちづくりに貢献し共生社会実現を目指しています。
エキマトペとは
駅にあふれる音を視覚的に表現する装置です。 AIを使って、電車の発着音やドアの開閉音といった環境音、アナウンスの音などを識別し、文字や手話、オノマトペのアニメーションで表示します。毎日の鉄道利用が楽しくなるような体験を目指して、川崎市立聾学校の生徒たちと、富士通株式会社、東日本旅客鉄道株式会社（JR東日本）、大日本印刷株式会社（DNP）で一緒にアイデアを考えました。
「もっとこうなったら通学が楽しくなるのに」という子どもたちの声をなんとか形にしたい、その一心で企業側が力を合わせプロトタイプを制作しました。
ワークショップで川崎市立聾学校の生徒たちからうまれたアイデアはとてもユニークで素敵なものばかりです。公式サイトや取り組みに関するYouTubeを是非ご覧ください！
ekimatopeia.jp
技術紹介
エキマトペは、画面の表示領域が3つに区切られており左上には1番線のアナウンス、右上には2番線のアナウンスを手話/字幕で表示しています。また、画面下部には電車のイラストとともにオノマトペを表示しています。
アナウンスや環境音をAIによりリアルタイムに識別し、該当する領域に表示を行っています。
今回は、エキマトペならではともいえる「環境音を識別し、オノマトペとして表示する」際に工夫した点について共有させていただこうと思います！
皆さんは、駅のホーム上で聞こえる音といえばどんな音を想像しますか？
エキマトペでは、「毎日の鉄道利用が楽しくなる」というテーマに加え「電車を好きになってほしい」という想いも込めて電車に関連する入線から発車に関連する音を、オノマトペ化する環境音として定義しました。
- 電車接近チャイム「キンコンカンキンコンカンコーン」
- 電車入線音「ヒューン」
- 電車停止音「キュー！！！」
- ホームドア開時音「ポロンポロンポロン」
- 1番線発車チャイム音「チャラララチャラララ～」
- 2番線発車チャイム音「タンタランタララタラララ～」
- ホームドア閉時音「ピポンピポンピポンピポン」
- 電車発車音「ヒュゥゥゥ」
- 電車加速音「ビュウウウウウウウン」
- 電車離反音「ガタンゴトンガタンゴトン」
エキマトペを設置させていただいたJR上野駅は、1・2番線以外にも隣接するたくさんの路線/ホームがあり様々な方面への電車が発着しています。
エキマトペでは、伝達する情報量を聴者の判断で制限しないことを（*1）前提に、エキマトペを設置したホームに入線する電車の環境音に限らず、実際にホーム上に立つと聞こえてくる隣接ホームの環境音も可能な限りリアルにろう・難聴者をはじめとする利用者の方々に伝えていきたいという想いがありました。
しかし、すべての環境音を取り込むことによってAIが様々な音に頻繁に反応してしまい、エキマトペを設置したホームの実際の入線から発車までの流れよりもエキマトペ上に表示されるオノマトペが複雑になり情報伝達という点で逆に混乱を招いてしまう課題を含んでいました。
そこで、我々は環境音の情報量を可能な限り制限しないこととオノマトペ表示を複雑にしすぎないことの2点のバランスをとることに注力しました。
ここからは、どのように実現したかを説明していきたいと思います。
POINT1：単一指向性マイクで環境音をとる
環境音の情報量を制限しない工夫として、今回リアルタイムでの収音に単一指向性マイクを採用しました。
通常、環境音をとる際には無指向性マイクを選定することが一般的であると想像しますが、以下の観点からエキマトペでは指向性マイクを上向き（斜め上向き）に設置することが適していると判断しました。
- 駅のホーム上で聞こえる環境音は街中よりもかなり音が大きく、音が回っているため、指向性マイクでも隣接ホームを含む環境音の収音が可能であった
- 無指向性マイクでは360度全方向収音するため、駅利用者の話声や足音などのノイズとなる音まで拾ってしまいAI精度に影響がでる可能性があった
実際に、単一指向性マイクを斜め上向きに設置し録音した音をメルスペクトログラムに変換した結果（図1）です。
それぞれの環境音の特徴を、設置ホームはもちろんのこと隣接ホームも明確に捉えられていることがわかります。
POINT2：オノマトペ表示制御機能をいれる
続いてオノマトペ表示を複雑にしすぎない工夫として、AI認識結果を振るい分けて表示する制御機能を開発しました。
駅ホームでは、1番線、2番線、隣接ホームの電車の発着が分刻みで行われているため、複数の環境音が連続的に発生します。例えば、1番線で電車が入線し始めてすぐに2番線でホームドアが閉まり、1番線の電車がまだ入線中の間に2番線が発車していくといった状況が頻繁に起こります。（図2の(a)駅ホーム音）このときAIでは、1番線の電車入線音 → 2番線のホームドア閉時音 → 1番線の電車入線音 → 2番線の電車発車音の順番に認識されます。（図2の(b)AI認識結果）この認識結果をそのままオノマトペとして表示すると、次々と鳴る環境音によりオノマトペ表示が頻繁に切り替わり、表示が複雑になります。
そこで今回は、音が鳴った瞬間をオノマトペ表示するタイミングとし、直近に表示されたオノマトペに連続して戻ることがないように表示制御機能を追加することで表示の複雑さを解消しました。具体的には、AIは対象の環境音が鳴り続けている間は常に認識してしまうため（例えば、電車入線音「ヒューン」は入線開始から終了の間に複数回AIに認識される）、鳴り続けている間の初回の認識結果のみを利用しそれ以降の一定時間の認識結果を利用しないように環境音ごとに秒数管理を実施しました。各環境音が鳴り続ける秒数は電車や時間帯によって異なるため、学習データの中から環境音ごとに鳴っている秒数を集計して秒数管理に使用する数値を調整しました。
この表示制御機能により、前述の例だと1番線の電車入線音 → 2番線のホームドア閉時音 → 2番線の電車発車音の順番にオノマトペが表示され、電車入線音が複数回表示されることがなくなりました。（図2の(c)画面表示）
これにより、オノマトペ表示の複雑さを軽減することに成功しました。
今回ご紹介した2つのポイントにより、可能な限り情報量を欠くことなく自然な表示がされるようになりました。
実証実験
- 期間：2025年2月25日～3月31日 ※残すところあと数日です！ご都合の会う方はぜひ足を運んでいただけると嬉しいです！
- 場所：JR上野駅1・2番線（京浜東北線と山手線）ホーム 6号車付近
実証期間中ではありますが現時点で収集できている調査結果について一部ご紹介させていただきます。 今回、エキマトペに関するWEBモニター調査（図3）とアンケート調査（図4）を実施しました。
図3 WEBモニター調査結果 
図4 アンケート調査結果
今回の実証実験で得た知見/反省を活かしエキマトペの価値を最大化し、改めて皆様にご覧いただけるよう努めて参ります！
最後に
我々がエキマトペの取り組みを通して目指すのは、「障害の有無に関わらず、一人ひとりが違いを受け入れ合い、自分らしく生きられる社会をデザインする」ことです。今回、エキマトペに関する技術紹介は初めてとなります。ろう・難聴などの障害を”考える"/自分ごと化するきっかけにこの技術ブログがなり、入り口がなにであれ共生社会実現の一助になれば幸いです。
*1:障害者情報アクセシビリティ・コミュニケーション施策推進法（障害者による情報の取得及び利用並びに意思疎通に係る施策の推進に関する法律）の基本理念の1つ。「障害者が取得する情報について、可能な限り、障害者でない者が取得する情報と同一の内容の情報を障害者でない者と同一の時点において取得することができるようにすること。」 https://laws.e-gov.go.jp/law/504AC0100000050/
