各大博客網(wǎng)站紛紛屏蔽搜索引擎抓取--中小站長(zhǎng)如何應(yīng)對(duì)?
近日,繼其它門戶(淘寶、sohu博客、校內(nèi)網(wǎng)、海內(nèi)網(wǎng)、51.com、中搜)紛紛宣布屏蔽百度搜索引擎舉措后,網(wǎng)上又曝出新浪博客已經(jīng)屏蔽百度蜘蛛對(duì)其內(nèi)容的抓取。由此引起網(wǎng)熱議,百度是否再次陷入“屏蔽門”。
由此新浪博客屏蔽百度搜索,將會(huì)給廣大中小站長(zhǎng)帶來(lái)一些影響!一直以來(lái),大型博客網(wǎng)站已經(jīng)成為站長(zhǎng)位做網(wǎng)站優(yōu)化外鏈建設(shè)的重要途徑;由于博客中充訴眾多以廣告為目的內(nèi)容,應(yīng)該是這些“屏蔽門”事件的一個(gè)重要原因!
通過(guò)16號(hào)在新浪開的同聲傳譯博客Http://blog.sina.com.cn/tytongshengchuanyi 連續(xù)兩天更新,在百度/GOOGLE搜索中仍然找不到相關(guān)信息.我們通過(guò)查看新浪的http://blog.sina.com.cn/robots.txt文件,看到相關(guān)的禁止搜索引擎蜘蛛抓取.
#開放百度的搜索引擎的User-Agent代碼,*表示所有###########
User-agent: Baiduspider
#限制不能搜索的目錄,Disallow: 為空時(shí)開放所有目錄####
Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/#限制的搜索引擎的User-Agent代碼,*表示所有###########
User-agent: *
#臨時(shí)限制對(duì)所有目錄的禁止抓取
Disallow: /
通過(guò)以上文件可以看到新浪不只是限制了百度蜘蛛,包括所有搜索引擎蜘蛛全部限制了,
我們整理下已經(jīng)明確屏蔽搜索蜘蛛抓取的博客名單:
新浪博客 blog.sina.com.cn
搜狐博客 blog.sohu.com
QZONE qzone.qq.com
百度空間 hi.baidu.com (有收錄,但權(quán)重傳遞限制)
迅雷博客 blog.xunlei.com
Blog.com www.blog.com
博客天下 www.blog.com.cn
中華網(wǎng)BLOG blog.china.com
由此事件,提醒廣大站長(zhǎng)朋友,在網(wǎng)站優(yōu)化實(shí)施中,在外鏈建設(shè)時(shí),我們提倡開展多樣性外鏈,有關(guān)外鏈的多樣性以及如何做好網(wǎng)站外部鏈接,請(qǐng)查看相關(guān)文章: