對於近日奇虎360綜合搜尋被爆出無視國際通行的Roberts協議,抓取百度、Google等搜尋引擎內容,導致眾多網站出於安全和隱私考慮不允許搜尋引擎抓取的內網資訊被洩露一事,資深網路觀察家洪波指出,做搜尋就要遵守搜尋產業公認的遊戲規則,無視規則,肆意違反規則才是真正的不正當競爭,這種行為不能從法律和政府監管上及時制止,將引發產業大亂。
搜尋引擎的原理是透過一種爬蟲spider程序,自動蒐集網路上的網頁並取得相關資訊。而鑑於網路安全與隱私的考慮,每個網站都會設定自己的Robots協議,來明示搜尋引擎,哪些內容是願意且允許被搜尋引擎收錄的,哪些則不允許。而搜尋引擎則會依照Robots協議給與自己的權限來進行抓取。 Robots協議已成為所有搜尋引擎必須遵守的國際慣例。這就好比一個正常的人去到別人家裡,需要先敲門,得到許可以後才能進入客廳。除非有主人的進一步許可和邀請,否則你不能擅自進入內室,或在別人家裡四處遛達。
因此,當兩週前新上線的360綜合搜尋無視Robots協議,直接抓取未經授權的資訊資料時,其做法遭到了業內人士的普遍質疑。
據了解,百度網站的Robots協議中並未授權360搜尋爬蟲抓取,但是360搜尋無視這種設置,擅自實施抓取行為。考慮到許多內容來源網站禁止搜尋引擎抓取的網頁中大多涉及存放在伺服器上的後台資料庫、使用者穩私、密碼等資訊。這意味著,360無視內容來源網站robots.txt協定中的設定,將導致存放在伺服器上的不該被搜尋到的隱私資訊被搜尋到,甚至直接在搜尋結果中展示出來。
對於被指控違反robots協議,由於事實俱在,週鴻禕已然無法否認,但他同時反駁表示百度在robots協議中禁止360爬蟲,是不正當競爭。對此洪波表示,robots協議賦予網站禁止任何搜尋爬蟲的權利,這跟不正當競爭毫無關係。 360無視業界預設規則,才是真正的不正當競爭。
「做搜尋就要遵守搜尋產業公認的遊戲規則,無視規則,肆意違反規則才是真正的不正當競爭。」在洪波看來,百度並沒有禁止所有爬蟲抓取問答、知道和貼吧的內容,百度只是禁止了不規矩的、有潛在安全風險的爬蟲,這恰是保護市場秩序,保護用戶隱私的合理措施。他指出,2008年淘寶也曾禁止百度爬蟲,而百度則嚴格遵守robots協議,停止抓取淘寶網內容,並沒有以淘寶不正當競爭為藉口違反robots協議。
360一直自詡這是用創新的方式做搜索,洪波的一句話表示了他的觀點:「一個連基本遊戲規則都不遵守的搜索引擎,怎麼好意思給自己貼上'創新'的標籤。也許在在周鴻禕的字典裡,無視規則等於創新。網的社群訊息,其他網站和搜尋引擎都可以效仿,被京東屏蔽的一淘還可以抓取競爭對手的商品資訊。以此類推,整個網路產業將大亂。