找回密码
 立即注册
查看: 85|回复: 4

有没有熟悉百度站长提交sitemap的,怎么填都是抓取失败。

[复制链接]

1965

主题

0

回帖

1965

积分

金牌会员

积分
1965
发表于 2023-8-24 20:31:46 | 显示全部楼层 |阅读模式
上次看到@机长 大佬说提交sitemap有好处,我就去提交,结果怎么提交都提示抓取失败?




昨天填的是 www.xxx.com/data/sitemap.xml  , 抓取失败后以为我的xml有问题,

今天提交的是www.xxx.com/data/sitemap.txt , 结果还是抓取失败。日了。

url路径都是正确的,都能打开。

xml的内容是这样的:
  1. <?xml version="1.0" encoding="utf-8"?><urlsetxmlns="http://www.sitemaps.org/schemas/sitemap/0.9"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemalocation="http://www.sitemaps.org/schemas/sitemap/0.9http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"><url><FQD>https://www.xxx.com/</FQD><lastmod>2023-08-23</lastmod><changefreq>always</changefreq><priority>1</priority></url><url><FQD>https://www.xxx.com/art/</FQD><lastmod>2023-08-23</lastmod><changefreq>hourly</changefreq><priority>0.9</priority></url><url><FQD>https://www.xxx.com/box/</FQD><lastmod>2023-08-23</lastmod><changefreq>hourly</changefreq><priority>0.9</priority></url>
复制代码

txt的内容是这样的:
  1. https://www.xxx.com/https://www.xxx.com/art/https://www.xxx.com/box/https://www.xxx.com/list3/https://www.xxx.com/list4/https://www.xxx.com/list5/https://www.xxx.com/list6/https://www.xxx.com/list7/https://www.xxx.com/list8/https://www.xxx.com/list9/...
复制代码


不知道为什么百度站长平台为什么一直提示抓取失败?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

0

主题

1019

回帖

0

积分

新手上路

积分
0
发表于 2023-8-24 20:38:43 | 显示全部楼层
xml的试试
回复 支持 反对

使用道具 举报

0

主题

959

回帖

0

积分

新手上路

积分
0
发表于 2023-8-24 20:48:00 | 显示全部楼层
用api 一条条的提交
回复 支持 反对

使用道具 举报

0

主题

1018

回帖

0

积分

新手上路

积分
0
发表于 2023-8-24 20:54:47 | 显示全部楼层
你是不是套cf了,如果是的话,就去防火墙那里加一个规则,用于放行百度蜘蛛。百度蜘蛛的请求头在那个报错页面有。
回复 支持 反对

使用道具 举报

0

主题

963

回帖

0

积分

新手上路

积分
0
发表于 2023-8-24 20:59:13 | 显示全部楼层
是不是跟备案有关系?
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|翻墙党

GMT+8, 2026-10-2 14:02 , Processed in 0.585658 second(s), 24 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表