Google Japan Blog

Android アプリケーション開発環境のリリースと Android デベロッパーチャレンジのお知らせ

2007年11月13日火曜日

2007年11月13日
Posted by Google Japan Android チーム

SDKの詳細およびダウンロードに関してはこちら日本円にして11億円超Android SDKをダウンロードAndroid デベロッパーチャレンジに関する情報はこちら

iGoogle ガジェットコンテスト：受賞作品決定！

2007年11月9日金曜日

2007年11月12日
Posted by ブラッドエリス（アソシエイトプロダクトマネージャー）

iGoogle ガジェットコンテスト 172 個も応募されましたQR EditStartCommandU.T. (The Unique Translator)CO2 Calculator選考された 11 個のガジェット

グランプリ

QR Edit

準グランプリ

StartCommand

特別賞

CO2Calculator

特別賞

U.T. (The Unique Translator)

Impress R&D 特別賞

Dragging Puzzle

Impress R&D 特別賞

JavaScript Console

入賞

はてなブックマークビューア

入賞

地震が起きたぞ！

入賞

検索中

入賞

抵抗器カラーコード換算機

入賞

Find Job! 求人情報(β)

コンテストのサイト

Social になることで、Web が進化します

2007年11月5日月曜日

2007年11月2日
Posted by Developer Program チーム
mixiMySpacePlaxoHi5NingorkutLinkedInsandbox にサインアップOpenSocial の API ドキュメントこれらの Web サイト

「Google Data APIs(GData)」をテーマとしたデベロッパー交流会（第3回）を開催しました

2007年11月2日金曜日

2007年11月2日
Posted by Developer Program チーム

デベロッパー交流会グループこちら（第1回）こちら（第2回）

2007年11月1日
Posted by 工藤拓・賀沢秀人（ソフトウェアエンジニア）

突然ですが、穴埋めクイズです。下線部に入る単語はなんでしょう?

グーグルで_____

おそらく、「検索」「調べる」「探す」といった単語を思いつくのではないでしょうか？実際に、Webにあるドキュメントをくまなく調べ、「グーグルで」の後にくる単語を調べると、「検索」が1位であるとがわかります。

一般に、直前の(N-1)個の単語を見て、次の単語を予測するモデルをN-gram言語モデルといいます。さきほどは、「グーグル」と「で」の2単語から次を予想しているので、3-gram言語モデルの例となります。現時点の単語が、直前の(N-1)個のみに影響を受けるという仮説は、一見現実離れしているようですが、実際には非常に有効な場合も多く、かな漢字変換、OCRのエラー訂正、機械翻訳、音声認識などに広く用いられています。たとえば、音声認識の場合、ノイズ等で現時点の単語をシステムが聞き取れなくても、言語モデルを使って過去の単語から予測することができます。
このたび、Web から抽出した約200億文（約2550億単語）の日本語データから作成したn-gramデータ(1～7 gram)を公開致しました。データの配布にあたっては特定非営利活動法人言語資源協会(以下、GSK)の言語資源流通サービスを利用させて頂いており、団体・個人の区別なく御利用頂けます。詳しくはこちらのページを御覧下さい。（なおデータ配布についてのお問い合わせはGSKへお願い致します。）

さて、実際のデータの中身ですが次のようになっています。

総単語数: 255,198,240,937 (2550億)

総文数: 20,036,793,177 (200億)

異なり 1-gram 数: 2,565,424

異なり 2-gram 数: 80,513,289

異なり 3-gram 数: 394,482,216

異なり 4-gram 数: 707,787,333

異なり 5-gram 数: 776,378,943

異なり 6-gram 数: 688,782,933

異なり 7-gram 数: 570,204,252

以下が 7-gram データの例です。7つの単語の並びのあとに、その並びの出現頻度が記録されています。

グーグルで検索していた 39

グーグルで検索していたら 143

グーグルで検索していて 45

グーグルで検索していると 33

グーグルで検索しておくべき 27

グーグルで検索してください。 92

グーグルで検索してこちらの 37

グーグルで検索してしまいまし 24

グーグルで検索してたらさぁ 50

グーグルで検索してたら見つけ 37

グーグルで検索してでて 26

グーグルで検索してみた 639

グーグルで検索してみたら 450

そもそも、今回のデータ公開はある大学の先生との雑談をきっかけとして、工藤と賀沢が「20%ルール」を使っておこなった成果です。（Google の「20%ルール」とは、勤務時間の20%を自分の好きなことに使ってよい、という社内ルールです。）

実は英語に関しては Googleはn-gramデータを既に公開しています。今回の日本語n-gramデータは、英語データを作成したシステムに次のような日本語独自の処理を加えて構築しています。（データの作成はGoogleの大規模分散処理システムMapReduceを用いて、数千台規模の計算機クラスタを使って行いました。）

文字の正規化 : 日本語には半角全角や特殊文字といった文字のバリエーションがあるため、Unicode NFKC に基づいた正規化を行いました。

単語分割: 日本語は英語のようにスペースで単語が分割されていません。そこで、工藤が開発に携わっているオープンソースの形態素解析エンジンMeCabを使用して単語に分割しました。（余談ですが、個人的に関わっているソフトウェアがWeb全体を解析するのに使われたのは、とてもエキサイティングな経験で、エンジニア冥利に尽きます。（工藤））

データ自体はとてもシンプルなものですが、使い方次第で色々と面白いことができると思います。是非お試し下さい。

なお今回の言語資源協会を通じたデータ公開にあたっては、北陸先端科学技術大学院大学の白井清昭先生に多大な御尽力を頂きました。この場を借りて御礼申し上げます。
■変更履歴
n-gram の異なり数に誤りがございました。本文は修正済みです。
[2007/11/03 01:09]

Japan Blog

Android アプリケーション開発環境のリリースと Android デベロッパーチャレンジのお知らせ

iGoogle ガジェットコンテスト：受賞作品決定！

Social になることで、Web が進化します

「Google Data APIs(GData)」をテーマとしたデベロッパー交流会（第3回）を開催しました

大規模日本語 n-gram データの公開

ラベル

過去の投稿

Feed

メディア関係者向けお問い合わせ先