Introduction

Twitterにイラストを投稿する絵師さんが増えていますが、Twitterのイラスト検索機能はPixivなどのイラストに特化したサイトと比べると貧弱で、好みのイラストを探すのが難しくなっています。このページはTwitter上のイラスト閲覧に特化したサイトを目指して開発を進めています。


利用するにはログインが必要です

アクセス権限は今のところタイムラインの読み込みのみに利用しています。


実装済み機能

  • リストからイラストを含むツイートだけを選んで表示
    • Imagenetでpre-trainされたSqueezenetをイラストかどうかを判定できるようファインチューニングしたものを使って選んでいます。
      (作業ログ: 二次元画像判別器の作成に関する基礎検討 PyTorchでファインチューニングしたモデルをONNXで利用する
    • 現在はサーバーサイドで推論を行っていますが、将来的にはTensorflow.jsなどを使ってクライアント側で実行したいと思っています。
    • TwitterのAPI制限の関係上ホームタイムラインから読み込めるツイート数が少ないので、お気に入りの絵師を入れたリストを事前に作成しておくことをおすすめします。

実装したい機能

  • 特定のユーザーの過去のツイートからイラストだけを表示する
    • 「たまたまRTで流れてきた神絵師のアカウントを遡ってみたらソシャゲのガチャ画像ばかりでイラストが全然見つからなかった」のような問題を解決したいです。
  • いいね履歴を利用したレコメンデーション
    • PU Learningが使えそうだと思っています
  • 画像からの自動タグ付け
    • 画像のクラス分類は非常によく研究されているテーマですが、新作が出てくるたびに増えるタグを自動でつけるのは研究課題として面白そうだと思っています
  • セリフ検索
    • 画像に写っている文字に対して検索できるようにしたいです。精度の良いOCRが必要になります
  • タグ検索・類似画像検索
    • Twitter上の画像の分析結果をデータベース化して検索できるようにしたいです。

関連リンク