久久er热这里只有精品免费-久久h-久久ri资源网-久久r精品-久久r免费视频-久久se精品一区二区国产

秦皇島網絡公司
  • 創想數科 ―― 領先的互聯網與信息化服務提供商!
  • 7x24小時咨詢熱線:0335-8889068 15033528182

如何和網絡爬蟲對話

發布時間:2011-11-14       發布人:
    

  看淘寶搜索技術博客上的一篇文章《定向抓取漫談》,對通用網絡爬蟲進行了簡單的定義,如下:
抓取策略:那些網頁是我們需要去下載的,那些是無需下載的,那些網頁是我們優先下載的,定義清楚之后,能節省很多無謂的爬取。

  更新策略:監控列表頁來發現新的頁面;定期check頁面是否過期等等。

  抽取策略:我們應該如何的從網頁中抽取我們想要的內容,不僅僅包含最終的目標內容,還有下一步要抓取的url。
  抓取頻率:我們需要合理的去下載一個網站,卻又不失效率。

  讓我對“如何和網絡爬蟲對話”這個課題有了一些思考,下面歸納的主要用于迎合上面提到的爬蟲“抓取策略”。
1、通過robots.txt和爬蟲對話:搜索引擎發現一個新站,原則上第一個訪問的就是robots.txt 文件,可以通過allow/disallow語法告訴搜索引擎那些文件目錄可以被抓取和不可以被抓取。
關于robots.txt 的詳細介紹:about /robots.txt
另外需要注意的是:allow/disallow 語法的順序是有區別的

2、通過meta tag和爬蟲對話:比如有的時候我們希望網站列表頁不被搜索引擎收錄但是又希望搜索引擎抓取,那么可以通過<meta name=“robots” content=“noindex,follow”> 告訴爬蟲,其他常見的還有noarchive,nosnippet,noodp 等。
關于 meta tag 的更多介紹:Metadata Elements
3、通過 rel=“nofollow” 和爬蟲對話:關于 rel=“nofollow” 最近國平寫了一篇文章《如何用好 nofollow》很值得一讀,相信讀完之后你會有很大的啟發。
4、通過 rel=“canonical” 和爬蟲對話:關于 rel=“canonical” 谷歌網站站長工具幫助有很詳細的介紹:深入了解 rel=”canonical”
5、通過網站地圖和爬蟲對話:比較常見的是xml格式sitemap和html格式sitemap,xml 格式sitemap可以分割處理或者壓縮壓縮,另外,sitemap的地址可以寫入到 robots.txt 文件。
6、通過網站管理員工具和搜索引擎對話:我們接觸最多的就是谷歌網站管理員工具,可以設定googlebot抓取的頻率,屏蔽不想被抓取的鏈接,控制sitelinks等,另外,Bing和Yahoo也都有管理員工具,百度有一個百度站長平臺,內測一年多了仍舊在內測,沒有邀請碼無法注冊。

    另外,這里面還衍生出一個概念,就是我一直比較重視的網站收錄比,所謂網站收錄比=網站在搜索引擎的收錄數/網站真實數據量,網站收錄比越高,說明搜索引擎對網站的抓取越順利。
暫時就想到這些,目的在于嘗試性的探討如何更有效的提高網站在搜索引擎的收錄量。
權當拋磚引玉,歡迎各位補充!


備注:
  網絡爬蟲(web crawler)又稱為網絡蜘蛛(web spider)是一段計算機程序,它從互聯網上按照一定的邏輯和算法抓取和下載互聯網的網頁,是搜索引擎的一個重要組成部分。

 

主站蜘蛛池模板: 伊在人亚洲香蕉精品区| 亚洲中文字幕在线观看一区| 三男一女吃奶添下面| 色综合久久久久综合一本到桃花网| 日日碰狠狠添天天爽无码| 久久偷看各类wc女厕嘘嘘偷窃| 国产人妻精品久久久久野外| 88久久精品无码一区二区毛片| 亚洲中文字幕在线无码一区二区| 亚洲精品一区二区成人 | 久久精品国产色蜜蜜麻豆| 日韩一区精品视频一区二区| 国产乱人伦偷精品视频| 无码少妇精品一区二区免费| 四房播播开心五月| 久久久久久久久888| 午夜人妻久久久久久久久| 舔高中女生奶头内射视频| 日本高清在线一区二区三区| 西西人体大胆www44he七| 日本在线视频www色| 国产色无码精品视频免费| 综合国产一区二区三区| 亚洲欧美日韩中文字幕一区二区三区 | 亚洲av日韩精品一区二区不| 人妻无码aⅴ不卡中文字幕 | 香蕉久久福利院| 人妻少妇被猛烈进入中文字幕| 国产性生交xxxxx免费| 伊人色综合久久天天人守人婷| 亚洲国产日韩成人a在线欧美 | 久久超碰极品视觉盛宴| 国产精品人妻久久久久| 国产精品怡红院永久免费| 欧美性色黄大片手机版| 亚洲综合另类小说色区一| 国产精品自在拍在线拍| 狠狠人妻久久久久久综合蜜桃 | 夜夜欢天天干| 日韩欧美一中文字暮专区| 精品国产v无码大片在线看|