什么是robots文件？
搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。常用于限制搜索引擎收錄和抓取頁面，如有些頁面不希望百度收錄就可以在這里定義等?！局С諴C+手機】
點擊生成robots文件后會跳轉(zhuǎn)到“站長工具”平臺，按照平臺上的提示設(shè)置你想讓這個root做的內(nèi)容；
限制目錄添加：選擇需要添加到限制目錄中的頁面鏈接，去掉鏈接頭部的域名、尾部的后綴，復制中間的文件目錄部分，添加到限制目錄中
例如。頁面鏈接為：http://chen0000.wz.dlszywz.net.cn/chen0000/products/11264817_0_0_1.html，文件目錄就是/chen0000/products/。
版權(quán)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔相關(guān)法律責任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容， 請發(fā)送郵件至 sumchina520@foxmail.com 舉報，一經(jīng)查實，本站將立刻刪除。
