Solrを使ったレシピ検索のプロトタイピング

Solrを使ったレシピ検索のプロトタイピング

兼山元太2012/1/26

12年1月27日金曜日

アジェンダ

•クックパッド？

•プロトタイピングの流れ

• Solrを使った検索のプロトタイピング

•本番での運用


自己紹介

•兼山元太 @PENGUINANA_

•検索チームのエンジニア

•好き：検索と情報可視化



COOKPAD？•レシピ投稿サイト

•112万のユーザーのレシピ

•20～30代女性の1/2が使っている

•PC/携帯/スマートフォン

•Ruby on Rails on AWS


レシピ検索•PC：•1302万UU, 1億回強/月

•モバイルの方が多い

•スーパーの店頭や家庭で

•献立決めの道具


スマートフォン


レシピをさがす人

•食べさせる人に喜ばれたい

•美味しいものが食べたい

•毎日同じものは作りたくない

•それでもつくる料理はすぐ決めたい


レシピをさがす人

•食べさせる人に喜ばれたい

•美味しいものが食べたい

•毎日同じものは作りたくない

•それでもつくる料理はすぐ決めたい

クックパッドが解決したい問題12年1月27日金曜日

人気順検索

•人気のレシピが見つかる

•献立決めで迷わない→時間短縮→悩みを解決

毎日の料理を楽しみにすることで心からの笑顔を増やす


チャーハン



開発サイクル•ユーザーの問題を発見する

•解決する最小のプロトタイプを作る

•本番デプロイ（一部ユーザーに公開）•インタビューやフィードバックを得て修正


Chanko• github.com/cookpad/chanko

• Railsでプロトタイプを安全にデプロイする仕組み

•数十のバージョンが同時に走る

• A/Bテストにも


検索画面の調整12年1月27日金曜日

検索アルゴリズムの変更12年1月27日金曜日

スマートフォンもあり12年1月27日金曜日

検索のプロトタイピング

•事前にどんなフィールドが必要かわからない

•トラフィックが多いと容易に変更できない


追加した例

• メタデータの追加

• 風味、カテゴリ、副菜、材料数、肉・野菜・魚メイン、調味料 ...

• ソートの追加

• 人気度、公開日、最終編集日、スタッフ確認日 ...


追加した例

• 検索フィールドの追加

• 調理器具から検索、誰がつくれぽしたか ...

• 同義語の扱いの変更

• NGRAM 分かち書き ...


検索のプロトタイピング

•これらを本番に入れるのは大変だった

でも検索も本番に思いつきレベルの機能をどんどん追加したい


Tritonn→　　ｋ

• Luceneを利用した検索エンジン

•非常に簡単に使える

•あまり設定しなくてもパフォーマンス出る


Solrを利用している機能

•レシピ検索

•つくれぽ検索

•ユーザー検索

•無数のプロトタイプ

•社内ツール


移行

•ほとんどのコードを書き直し…

•実クエリで結果を一致させた

•検索の一部をSolrに流す

• 1%->10%->50%->100%


いろいろあって5:00am

それなりに大変だった…


なぜ移行したのか• Tritonn•パフォーマンス悪い

•フィールド追加が辛い

•レプリがステートメントベース(本番でテーブル定義を変えにくい）


•Solr•パフォーマンス悪い→良い

•フィールド追加が辛い→簡単

•レプリ→ファイルベース(本番でテーブル定義を変えやすい）


•Solr•パフォーマンス悪い→良い

•フィールド追加が辛い→簡単

•レプリ→ファイルベース

！！！プロトタイピングがしやすい！！！


replication

• indexとschemaをレプリケーション

•スキーマ変更も伝播する•ファイルベースなので重い変更がスレーブで走らない

master slaveindex/schema


プロトタイプの流れ•まずはStagingを更新

•問題なければmaster

•例外：

•フィールド追加するだけ

•直接本番へ


プロトタイプに役立つ機能

• HTTP• Dynamic Field

• Facet query• distributed search


JSON via HTTP

•ブラウザで確認できて開発が楽


Dynamic Field

•フィールドを事前に定義しなくていい

•新しいソートが簡単に追加できる→

•新しい検索フィールドも簡単→


Dynamic Field

•フィールドを事前に定義しなくていい

•新しいソート→違う人気順アルゴリズム etc...

•新しい検索フィールド→和洋中のフラグ etc...


使い方

• category_id_*• ingredient_size_i => int• popularity_f => float• verb_s => text など…


facet query

• Group byと同じような機能

• facet=on&facet.field=フィールド名

•ドリルダウンUIを作るのに便利


例：絞り込み検索





http://localhost:8983/solr/select?q=*:*&facet=on&facet.field=category_id

_i12年1月27日金曜日

「鍋」の掲載日(社内)


作者さんの居住地 (社内)ソーキザンギ


Distributed Search

•簡単にshardingできる

•重いクエリは4shardで投げる

•オーバーヘッドが大きいので重いクエリだけ


HTTP

• HTTP経由で検索・更新できる

•並列化が簡単

• JSON via HTTP


HTTPの並列化

•通常の検索画面

• 3クエリを同時に実行

•とあるプロトタイプの検索画面

• 8クエリを同時に実行


例：明示的な関連性•レシピの提示順序を変える

•タイトルでマッチ

•材料のフィールドでマッチ

•その他のフィールドでマッチ

•簡単に3リクエスト並列で投げられる


例：明示的な関連性•レシピの提示順序を変える

•タイトルでマッチ

•材料のフィールドでマッチ

•その他のフィールドでマッチ

•ngramでマッチ etc...簡単に3リクエスト並列で投げられる


本番運用

•構成

•監視

•パフォーマンス

•テスト


master

/recipes/users/shard etc...

バッチ

stagingapp

分かち書き正規化同義語展開 MySQL

index/schema slave


master


バッチ

stagingapp


index/schema slave


optimize()

• 可能だったらoptimize

• ～20%くらい早くなる

• master/slaveならslaveはファイルもらうだけ

master

バッチ

staging


master


バッチ

stagingapp


index/schema slave


stored=false

• idのみstored

•本文はMySQLから

•インデックスサイズを小さくできる

app

MySQL

slave


監視(munin)

•監視項目(コア別)：

•クエリ: QTime / QPS

•キャッシュ: hit/eviction

•インデックス: サイズ / docの数

•レプリ：所要時間


監視(munin)


監視(munin)


監視(munin)


監視(munin)


監視(nagios)

•監視項目(コア別)：

•サーバーの基本的なヘルスチェック

•レプリ: Solr index version

•レプリ遅れてますメールが来る


パフォーマンス

•レプリケーションするときやGCで瞬間的にロックすることがある

• varnishをsolrの前に置いて影響を最小化する対策を検証中


おすすめ


気になってる機能

• not to cache(SOLR-2429)• SurroundQuery(SOLR-2703)• BloomFilter(SOLR-1375)


おすすめ

• http://blog.sematext.com

• https://issues.apache.org/jira/browse/SOLR

•@otisg


http://blog.sematext.com/

http://blog.sematext.com/

https://issues.apache.org/jira/browse/SOLR




今後やりたいこと•検索精度の向上

•検索セッションの分析

•クエリ分類, 検索意図

•デバイスに特化した検索

•パーソナライズ


クックパッドでは


エンジニアを募集しています12年1月27日金曜日

Q/A• クックパッド

• レシピ検索

• Solr

• プロトタイピング

• dynamic field

• メタデータ

• エクステンション

• A/Bテスト

• 本番での運用方法

• 監視

• テスト

• 今後


Solrを使ったレシピ検索のプロトタイピング

Documents