Qihoo 360 総合検索が国際的に認められている Roberts プロトコルを無視し、Baidu や Google などの検索エンジンのコンテンツをクロールした結果、セキュリティとプライバシーの理由で多くの Web サイトが検索エンジンのクロールを許可していなかったイントラネット情報が漏洩したという最近の暴露についてインターネット監視員の上級幹部であるホン・ボー氏は、検索を行う際には、検索業界で一般的に認められているルールを遵守しなければならないが、そのルールを無視したり、むやみに違反したりすることは、実際には不当な競争であってはいけない、と指摘した。法律や政府の監督によって適時に停止され、業界に混乱を引き起こすことになります。
検索エンジンの原理は、インターネット上の Web ページを自動的に収集し、クローラー スパイダー プログラムを通じて関連情報を取得することです。ネットワーク セキュリティとプライバシーの考慮事項を考慮して、各 Web サイトは独自のロボット プロトコルを設定して、検索エンジンがどのコンテンツを含めることを希望し、許可するのか、どのコンテンツが許可されないのかを検索エンジンに明確に示します。検索エンジンは、ロボット プロトコルに従ってクロールするための独自のアクセス許可を与えます。ロボット プロトコルは、すべての検索エンジンが準拠する必要がある国際的な慣例となっています。これは、普通の人が他人の家に行き、リビングルームに入る前にまずドアをノックして許可を得る必要があるのと同じです。所有者からのさらなる許可と招待がない限り、許可なく奥の部屋に入ったり、他人の家を徘徊したりすることはできません。
したがって、2週間前に新しく開始された360総合検索がロボットプロトコルを無視し、未承認の情報とデータを直接取得したとき、そのアプローチは業界関係者から一般的に疑問視されました。
Baidu Web サイトの Robots 契約では 360 度検索クローラーのクロールを許可していないことがわかりますが、360 度検索はこの設定を無視し、許可なくクロール動作を実装します。多くのコンテンツ ソース Web サイトが検索エンジンによる Web ページのクロールを禁止していることを考慮すると、そのほとんどにはバックエンド データベース、ユーザーのプライバシー、パスワード、およびサーバーに保存されているその他の情報が含まれています。これは、360 がコンテンツ ソース Web サイトの robots.txt プロトコルの設定を無視することを意味します。これにより、サーバーに保存されている検索すべきではない個人情報が検索されたり、検索結果に直接表示されたりする可能性があります。
ロボット協定に違反した疑いについて、周宏儀氏は事実が存在するためもはや否定できなかったが、ロボット協定における百度の360クローラー禁止は不当競争であるとも反論した。これに関してホン・ボー氏は、ロボット協定はウェブサイトにあらゆる検索クローラーを禁止する権利を与えており、これは不当競争とは何の関係もない、と述べた。 360 は業界のデフォルトのルールを無視しており、これが本当の不公平な競争です。
「検索を行うときは、検索業界で一般に認められているルールに従わなければなりません。ルールを無視したり、不当にルールに違反したりすることは、本当の不公平な競争です。Baidu は、すべてのクローラーが検索エンジンをクロールすることを禁止しているわけではありません。」 Q&A、Zhiba、Tieba の内容 潜在的なセキュリティリスクを引き起こす不規則なクローラーのみを禁止します。これは、市場の秩序を保護し、ユーザーのプライバシーを保護するための合理的な措置です。同氏は、淘宝網も2008年に百度クローラーを禁止したが、百度はロボット協定を厳格に遵守し、淘宝網での不公正な競争を口実に淘宝網のコンテンツのクロールを停止したわけではないと指摘した。
360 は常に革新的な検索方法を使用していると自慢してきましたが、Hong Bo 氏は次のように自分の意見を述べました。おそらく、In Zhou Honyi の辞書では、ルールを無視することはイノベーションに等しいとされています。「Hong Bo 氏は、もしそのような行為が法律と政府の監督によって時間内に止められなければ、今日 360 が違法に取得しているのは Baidu のコンテンツであり、明日にはバイドゥのコンテンツを取得できるようになるでしょう。」他の Web サイトや検索エンジンは、JD.com によってブロックされている Web サイトのコミュニティ情報を模倣して、競合他社の製品情報を取得することもできます。類推すると、インターネット業界全体が混乱するでしょう。