駅のアナウンスや電車の音といった情報を文字や手話、漫画風の書き文字でオノマトペとして視覚的に表現する装置「エキマトペ」が、2022年12月14日までの間、JR上野駅1・2番線ホームで実証実験中です。

　これを実際に体験した耳の聞こえない人が、今までオノマトペで知っていた「音の正解」はこれだったのか！と感動を漫画化し、Twitterに投稿。幅広い反響を呼んでいます。

おた経オススメ関連記事

　この漫画をTwitterに投稿したのは、耳が聞こえない「うささ」さん。補聴器も使っていますが、それがなんの音で、どこから発しているかなどを知ることはできません。

うさささんは「音」を知識でしか知らない（うさささん提供）

　人が話している場合は、その時の状況や口の形を読み取って（「口話法」という方法）予測できますが、身の回りの環境音については、さっぱり分からないのだとか。漫画の書き文字で「音」の存在を知り、状況に当てはめて想像しながら対処しているそうで、どんな音がしているのか「音の正解」を知らないと語ります。

「音の正解」を知らないとうさささん（うさささん提供）

　看板などを見れば、最低限必要な情報は分かりますが、音が分からない人にとって「どういう音がしているか」を知る術はありません。聞こえる人（聴者）とは、情報量に差があるのです。

聴者とは得られる情報に差がある（うさささん提供）

　そんなある日、出会ったのが「エキマトペ」でした。これは自動販売機の上に設置されたディスプレイに、アナウンスの内容や周囲の音が文字と手話で表示される装置です。

エキマトペとの出会い（うさささん提供）

　この「エキマトペ」、川崎市立聾学校の生徒たちからのアイデアをもとに、富士通、JR東日本、大日本印刷の3社が中心となって開発がスタートしたプロジェクト。AIを使って音を識別し、文字や手話、オノマトペ（漫画風の書き文字）としてディスプレイに表示します。

　この装置の実証実験が2022年6月15日より、JR上野駅1・2番線ホーム上で始まりました。期間は12月14日まで、システムトラブルが生じ、仕切り直しとなった6月21日からは当面の間、平日の10時〜17時の時間帯で稼働しています。

　うさささんは「エキマトペ」をデザインした方が発した、設置を知らせるツイートで存在を知り、実際に上野駅ホームへ足を運びました。最初は稼働時間が変更されたことを知らず、稼働する様子を見られなかったそうですが、再度時間内に足を運んで動く「エキマトペ」を目にします。

　ディスプレイには「ビュウウウゥゥン（電車の風切り音）」や「キュー！（電車のブレーキ音）」といった環境音をオノマトペ化しただけでなく、漫画の書き文字のように書体で音の雰囲気を表現した文字が表示されます。

　列車の接近放送が始まると、読みやすい書体で「まもなく、1番線（京浜東北線：大宮方面）に快速の電車がまいります。あぶないですから、黄色い点字ブロックまでお下がりください」と、アナウンス内容が文字で提供されるだけでなく、手話でも表示されます。初めてアナウンスの内容を知り、うさささんは驚きます。

アナウンスの内容を知って驚く（うさささん提供）

　電車が入線してくる「ヒューン」という音も、アニメーション効果を加えて表現されます。また、アナウンスでよく聞かれる「ご乗車ありがとうございます」という言葉が、車内だけでなく駅ホームでも流れていることも知り、うさささんは聞こえる人（聴者）が普段聞いているのに近い「駅のいろいろな音」を体験しました。

エキマトペが教えてくれる様々な「音の正解」（うさささん提供）

温かい心で家路に着く（うさささん提供）

　この「エキマトペ」経験を経て、うさささんに身の回りの音（環境音）の受け止め方に変化があったかをうかがいました。これまでテレビの字幕放送を見ている際、電話の着信音などは字幕に音のオノマトペが表示されない限り、かつて漫画で読んだ「ルルルルル」が頭に浮かび、着信メロディなど「ほかの着信音」は予測がつかなかったといいます。

　「でもホームでの正しい音を知った今、印象はとても大きく変わりました。予測がしやすくなりましたし、案内音や環境音をとても身近に感じました。きっとそれらの音は駅によって、鉄道会社によって異なると思いますし、いろんな場所での正しい音を知りたい！と思うようになりました」

　また、実際に体験したことにより、気がついた点をうかがうと次のような感想も伝えてくれました。

　「手話と字幕で少しタイミングがずれる時があります。私は字幕をメインに見つつ同時に手話も時々見るので、タイミングを合わせてほしいなと思っています。なかなか難しいかもしれませんが……」

　この「エキマトペ」は、音をマイクが捉えたのち、AIによる解析で適した表現を選んで表示する仕組みになっている様子。AIでの解析処理（列車の行先などアナウンスの内容判断〜適した表現の選択）をしているうちに手話の映像が先行してしまい、タイムラグが生じているようです。

　現在、主要な駅のアナウンスは自動音声（事前に収録された言葉をコンピュータでつなぎ合わせて放送）によって実施されているので、そのシステムと連動することができれば、より高精度にアナウンスの内容と手話の映像をシンクロさせることができるかもしれません。実証実験ということもあり、システム単独で運用されている影響がありそうです。

　しかし、聞こえない人にとって今まで知らなかった「音の世界」を視覚的に見せてくれる「エキマトペ」は、素敵な装置であることは間違いありません。アナウンスは優しい平易な日本語表現のほか、英語での表示にも対応しており、聞き逃しやすい内容を文字情報で補完できるという点もまた、日本語が堪能でない人にとって福音となるでしょう。

「エキマトペ」は英語表記にも対応（うさささん提供）

　うさささんは、まだ「エキマトペ」の実証実験を知らない方に対し、次のようなメッセージを託してくれました。

　「エキマトペは聴覚障害者にとても優しく寄り添った装置だと思います。是非とも一度上野駅に足を運んでみてはいかがでしょうか。開発者の優しい世界がきっとそこにあります」

　JR上野駅での「エキマトペ」実証実験は、1・2番線ホーム（山手線内回り：田端・池袋方面／京浜東北線北行：浦和・大宮方面）のほぼ中ほど（ホームに降りてくる階段とホームに登ってくる階段に挟まれた地点）で実施されています。当面の間は平日10時～17時の運用で、12月14日まで行われる予定です。

＜記事化協力＞
うさささん（@usasa21）

＜参考＞
「エキマトペ」プロジェクト公式サイト
富士通株式会社　プレスリリース

（咲村珠樹）