小k娱乐网:利用robots来实现网站收录 小刀娱乐网_小高教学网

1. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。

2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。

3. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

看图片.是不是感觉对你收录网站有很大的期望.但是有时候百度会卡蛋.检测一直都是错误、错误、错误….

教程: 需要准备一个Robots.txt文件,用来检测 需要准备一个sitemap.html文件,用来提交你要收录的网站Robots.txt文件代码:

# robots.txt generated at http://tool.chinaz.com/robots/

User-agent: Baiduspider

Disallow:

User-agent: Sosospider

Disallow:

User-agent: sogou spider

Disallow:

User-agent: YodaoBot

Disallow:

User-agent: Googlebot

Disallow:

User-agent: Bingbot

Disallow:

User-agent: Slurp

Disallow:

User-agent: Teoma

Disallow:

User-agent: ia_archiver

Disallow:

User-agent: twiceler

Disallow:

User-agent: MSNBot

Disallow:

User-agent: Scrubby

Disallow:

User-agent: Robozilla

Disallow:

User-agent: Gigabot

Disallow:

User-agent: googlebot-image

Disallow:

User-agent: googlebot-mobile

Disallow:

User-agent: yahoo-mmcrawler

Disallow:

User-agent: yahoo-blogs/v3.9

Disallow:

User-agent: psbot

Disallow:

User-agent: *

Disallow:

Sitemap: 你的Sitemap文件网址

sitemap.html文件代码

在html里面加上你的所有内链即可

不用在写别的多余代码

准备好这两个文件后开始正题

1:必须把那两个文件放在主文件,就是主机第一个文件那

2:找出你那两个文件链接,比如http://www.502wl.com/sitemap.html (这里Sitemap文件)

找出两个链接完成第一个步骤(注意要可以访问,不能404)

3:完成后在Robots里面最后一行的Sitemap写上你的Sitemap文件网址链接

4:回到百度站长那点击检测即可

(PS:点击后很大概率会出现错误或者301,联系百度客服即可,这个属于百度那边的错误。如果出现404就是你自己配置的网址链接没配置好,回去检查一下)

标签:

未经允许不得转载:作者:admin, 转载或复制请以 超链接形式 并注明出处 夜河资源网
原文地址:《小k娱乐网:利用robots来实现网站收录》 发布于2020-05-09

赞(0) 打赏

评论 抢沙发

5 + 1 =


撰写不易~如果您觉得文章对您有帮助的话可以打赏我哦~谢谢亲亲~

支付宝扫一扫打赏

微信扫一扫打赏

十一款外服网游加速器
可加速GTA5、彩虹六号、绝地求生等所有外服游戏平台(steam、Ubi、Epic等)游戏。
切换注册

登录

忘记密码 ?

切换登录

注册