ブランドコンセプトを反映した ファッションアイテム類似検索 中村 拓磨,上月 正貴,後藤 亮介(VASILY, Inc.) 1. Abstract Background ファッション業界には大小様々なブランドが存在する.ファッションアイテムのブランド 判別問題において,特に小規模なブランドについて学習に充分なサンプル数を得られない 事がある. Novelty ブランドの意味表現を判別に反映することで小規模なブランドのサンプル数不足をカバー する. 2. Method Brand semantics ユーザーのブランドに対する趣向からword2vecを用いて分散表現を抽出する.得られた 分散表現をブランドの意味表現とみなす. 3. Results Data 4. Conclusion Conclusion サンプル数が少ないブランドについて,ブランドの意味表現を利用することで判別タスク におけるprecisionを改善することに成功した.ブランドをクエリとする画像検索タスク に関しては類似ブランドの画像が得られる事を確認した. Reference 1. A. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean, M. A. Ranzato, and T. Mikolov. DeViSE: A Deep Visual-Semantic Embedding Model. In NIPS, 2013. 2. F. Faghri, D. J. Fleet, J. R. Kiros, and S. Fidler. VSE++: Improved Visual-Semantic Embeddings. arXiv preprint arXiv:1707.05612, 2017. Hardest Negative Sampling IQONのユーザー,ブランドデータ及びワンピース画像を用いる. - # train samples: 99,847 / # test samples: 24,962 - # users: 808,965 / # brands: 1,509 / # ratings: 5,632,577 - w2v: CBOW, 128dim / K-Means: K=36 Fig. 1. 提案するシステムの概要 Fig. 2. ブランド意味表現の抽出 Deep Visual Semantic Embedding Model (DeViSE) CNNを用いて画像を画像をブランドの意味空間に埋め込む.Loss functionにはhinge rank loss,類似度の評価にはcosine類似度を用いる [1] . Image retrieval 学習サンプル数が小さいブランドについて,ブランドベクトルから画像を検索する. Fig. 4. モデルの概要 w2v lookup table K-Means brand1 brand2 brand3 brand4 brand5 brand cluster 2 brand cluster 1 brand cluster 3 ブランドを埋め込んだ空間 Br and cluster classification ブランドクラスタ判別問題について,SoftmaxとDeViSEをprecisionの観点から比較する. Model Precision@1 Table 1. 全サンプルに対する平均Precision Softmax DeViSE Precision@5 Precision@10 Precision@20 0.771 0.681 0.292 0.311 0.210 0.243 0.159 0.193 Model Precision@1 Table 2. 各クラスタ毎の平均Precisionの平均 Softmax DeViSE Precision@5 Precision@10 Precision@20 0.715 0.661 0.246 0.347 0.168 0.273 0.120 0.206 Fig. 6. クラスタ毎のAccuracy(左)とPrecision(右)のトラジェクトリー Fig. 5. ブランド毎のサンプル数(左)とブランドクラスタ毎のサンプル数(右)のヒストグラム ブランドクラスタを構成するブランド群から次のような人物像が描ける. Fig. 3. ブランド意味表現から得られたブランドクラスタとペルソナの例 - 20代~30代 - ファッション好きで ブランドネーム優先 - 独身キャリアウーマンか 収入が多い家庭の主婦 - カジュアルより女性 らしい服装を好む - 20代~30代 - カジュアルが好き - 雑誌やインスタでトレンド をチェックしている - ブランドよりアイテム自体 や使い回ししやすさ優先 - 比較検討の時間が長い brand cluster 18 - FREAK’S STORE - URBAN RESEARCH DOOR - CIAOPANIC TYPY - UNITED ARROWS green label relaxing - ROSSO - TORY BURCH - See By Chloé - PRADA - MARC JACOBS - MIUMIU brand cluster 14 Fig. 7. 学習サンプル数が小さいブランドの検索結果 JOURNAL STANDARD (# train samples: 10) Current Elliott (# train samples: 21) クエリ 近傍ブランド 検索結果 URBAN RESEARCH MARGARET HOWELL UNITED ARROWS nano・universe ENFOLD EQUIPMENT DEMYLEE JAMES PERSE Isabel Marant KAREN WALKER Embedding pair に対する負例は Hardest negative sample 及び を用いる [2] . image lookup table CNN brand ID similarity metric fix training