ギャングの活動を追跡する警察は、落書きを解読し、メッセージを解読し、ギャングを特定し、さらには泡のような文字やスプレーで描かれた落書きから個人を監視する必要に迫られることが多々あります。新しいソフトウェアは、落書きをストリートアートのライブラリと自動的に照合することで、このプロセスを迅速化します。
このシステムは、現在手作業で撮影・ラベル付けされている既存の画像をフィルタリングすることで機能します。特定の落書きに関するクエリを入力すると、システムは視覚的および内容的な類似性に基づいて類似画像のリストを見つけ、それらの類似画像に関連付けられたギャング名を返します。ミシガン州立大学のアニル・ジェイン率いるコンピュータ科学者たちは、このソフトウェアの開発に数年にわたって取り組んでおり、今月下旬にアリゾナ州スコッツデールで開催されるACMマルチメディアカンファレンスでその成果を発表する予定です。
ジェイン氏らによると、他の画像認識プログラムと同様に、このグラフィティマッチングシステムは共通点に基づいて一致するものを探す。これは、同じロゴやタグが描かれていても、作成者や作成者によって見た目が大きく異なる可能性のある、異なるグラフィティを選別するのに役立つ。まず、システムは新しい画像から視覚的特徴を抽出し、次に文字、数字、記号を手作業でアノテーションする。そして、この新しい画像と類似する候補画像を見つける。
数字と文字を自動的に認識するシステムがあれば理想的だが、落書きは非常に多様であるため、既存の技術では実現が困難だとジェイン氏らは述べている。ニューサイエンティスト誌によると、ジェイン氏はAmazonのMechanical Turkサービスを使ったクラウドソーシングで単語を識別しているという。
画像とテキストの類似性を両方使用することで、システムはギャングや個人を約65％の精度で特定できるとニューサイエンティスト誌は伝えている。
ジェイン氏らは、このシステムを膨大な落書き画像データベースに適用するには、まだ微調整が必要だと説明する。「将来的には、落書きのタイムスタンプや場所など、テキスト情報以外の落書きに関する追加情報を調査する予定です」と著者らは記している。
ニューサイエンティスト
