Automatic captions in YouTube【2009/11/19】
以前に米国･カルフォルニアに旅行した際、ホテルのテレビを見ていたら、ライブでの報道番組のはずなのに、話している言葉がそのままテロップとして流れていました(早く文字移動するので内容は良く分かりませんでしたが･････)。
この(Googleにおける)音声認識技術を使って、自動で(英語の)字幕を付けているそうです。
YouTubeに字幕を付ける事は2008年8月に実現し(本ブログのここを参照)、2008年11月には複数の言語に自動翻訳して字幕を付けられるようにしました(本ブログのここを参照)。
- YouTube動画で字幕を表示する機能が付加【2008年08月30日】
- YouTubeに付けられた字幕を自動翻訳する機能が実現【2008年11月05日】
しかし、動画に字幕を付ける事は、特定フォーマットのファイルを作成するなどの技術･ツールの準備や手間隙、作成すべき動画の数や動画中の言葉の量などで、多くの動画で実現してこなかったと思います。
そこで今回の字幕作成の自動化。当面は(この技術が｢完璧でない｣との想いで)限定したパートナーに字幕作成をできるようにしているとの事。限定パートナーのチャンネルは、UC Berkeley, Stanford, MIT, Yale, UCLA, Duke, UCTV, Columbia, PBS, National Geographic, Demand Media, UNSW and most Google & YouTube(各サイトへのリンクは公式ブログを参照)ですが、サービス地域限定や字幕の未作成により全てを見られる訳ではありません。
例えばこちら(講義で内容は硬いですが･････)。動画の立上げ後に(下のイメージにある通り)右下のアイコンをたどって｢音声を文字に変換(Transcribe Audio)をクリックすると、それまでなかった英語が表示されるようになります。
Lisa Anderson, "Contending Theories and Policy Choices"
英語が表示されるようになってから、同様にたどって｢キャプションを翻訳(Translate Captions)｣をクリックすると日本語訳がでてきます。
まず英語発声に対する自動字幕化ですが、ハッキリした発音でそれなりの(!?)スピードであれば十分に文字に捉えられているように思います。文字は或る程度の(分量や文法的な区切りと?)発声の区切りで1～2行に表示されます。これが意味を理解できる程度の分割レベルであるのかはネイティブスピーカーに確認したい所。
このような(発声の完璧な文字化ではないとしても)英語の日本語への翻訳には、既に別稿で指摘している通り、翻訳技術そのものが未成熟な段階にあるという問題があります(これはGoogleだけに限らない)
- Googleドキュメントで文書を一括して翻訳する機能が追加、そしてそこでの課題【2009年08月29日】
更に、日本語の単語の並び(基本的に主語+目的語+動詞)と英語の単語の並び(基本的に主語+動詞+目的語)の違いにより、英語での表示上の区切りが、日本語にも適切な区切りであるとは限らない事。
国際会議などでの同時通訳の大変さ(日本語→英語の場合、ホンの一瞬といえども目的語を覚えていて動詞を訳し目的語を訳し続ける････)を改めて感じます。映画のテレビ番組で字幕がでてきますが、上手く意訳して一回の表示区切りの中に入るようにしたり、日本語の単語の順に合わせて未だ発音していない目的語を先の表示区切りに入れたり、表示されている数秒で認知できる文字量にしたりしているようですネ。
日本語発声に対する自動字幕化は、漢字への変換も絡んだ難しさもあって別の問題になります。
という事で、日本語での(自動的な)字幕付加は期待通りになるには、大変な困難があると思います。しかし当面、日本語訳になる事によって雰囲気は分かるようになる(講義や演説がそれで良いとは思いませんが････)でしょうし、文字になれば英語を理解できる人(?)にとってはメリットがあるかも知れません。グーグル社の更なるチャレンジを期待したい。
尚、字幕(キャプション)は動画アノテーションとは別です。確認の為。
