Baidu Spiderとはどういう意味ですか? Baiduスパイダーを正しく識別するにはどうすればいいですか?

Baidu Spiderとはどういう意味ですか? Baidu Spider (Biduspide) は、Baidu 検索エンジンの自動プログラムです。その機能は、インターネット上の Web ページを訪問し、インデックス データベースを構築して、ユーザーが Baidu 検索エンジンで Web サイトの Web ページを検索できるようにすることです。では、Baidu スパイダーを正しく識別するにはどうすればよいでしょうか?

1. UA情報を表示する

UA 情報が正しくない場合は、スパイダーが Baidu 検索スパイダーではないことが直接わかります。現在、UA は、次のようにモバイル、PC、ミニプログラムの 3 つのアプリケーション シナリオに分かれています。

【モバイルUA】

、Mozill/5.0(Linux;u;Andoid 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML、Gecko など)Vesion/5. Mobile Sfi/0600.6.3 (互換; Biduspide/2.0;+http://www.bidu.com/sech/spide.html)

2. Mozill/5.0 (iPhone; CPU iPhone OS 9_ 類似 Mac OS X) AppleWebKit/60..46 (KHTML、類似 Gecko) Vesion/9.0 Mobile/3B43 Sfi/60. (互換; Biduspide-ende/2.0; + http://www.bidu.com/sech/spide.html)

【PCユーザー】

、Mozill/5.0(互換; Biduspide/2.0; +http://www.bidu.com/sech/spide.html)

2. Mozill/5.0 (互換可能; Biduspide-ende/2.0; +http://www.bidu.com/sech/spide.html)

【ミニプログラムUA】

Mozill/5.0 (iPhone;CPU iPhone OS 9_ Mac OS X のような) AppleWebKit/60..46 (KHTML、Gecko のような)Vesion/9.0 Mobile/3B43 Sfi/60. (互換; Biduspide-ende/2.0;Smtpp; +http://www.bidu.com/sech/spide.html)

2. 双方向DNS解決認証

ステップ1: DNS逆IP

開発者は、ログ内のアクセス サーバーの IP アドレスに対して逆 DNS ルックアップを実行し、スパイダーが Baidu 検索エンジンから来ているかどうかを判断できます。 Biduspide のホスト名は、*.bidu.com または *.bidu.jp の形式で命名されます。*.bidu.com または *.bidu.jp 以外のものは偽装です。 。

Linux/Windows/OS プラットフォームでの検証方法は次のとおりです。

) Linuxでは、ホストIPコマンドを使用してIPを反転するクロール元が Biduspide かどうかを判断します。

2) WindowsまたはIBM OS/2プラットフォームでは、 nslookup IPコマンドを使用してIPを逆順にする: コマンド プロセッサを開き、nslookup xxx.xxx.xxx.xxx (IP アドレス) と入力して IP を解決し、キャプチャが Biduspide からのものであるかどうかを判断します。

3) mcOSプラットフォームでは、 digコマンドを使用してIPを反転する: コマンド プロセッサを開き、dig -x xxx.xxx.xxx.xxx (IP アドレス) と入力して IP を解決し、クロール元が Biduspide からのものかどうかを判断します。

ステップ2: ドメインでDNSフォワードルックアップを実行する

最初の手順のコマンドで取得したドメイン名に対して DNS 前方参照を実行し、ドメイン名がログ内のアクセス サーバーの元の IP アドレスと一致していることを確認します。 IP アドレスが一致している場合は、スパイダーが Baidu 検索エンジンから来ていることを確認できます。IP アドレスが一致していない場合は、なりすましです。 。

[例]

ホスト.206.98.69

69.98.206.. in-dd.p ドメイン nme ポイント biduspide--206-98-69.cwl.bidu.com。

ホストbiduspide--206-98-69.cwl.bidu.com

biduspide--206-98-69.cwl.bidu.com hs ddess .206.98.69