调试 Google 爬虫的网络和 DNS 错误

网络和 DNS 错误会对 Google 能否成功抓取网址产生快速且负面的影响。Google 将网络超时、连接重置和 DNS 错误与 5xx服务器错误同等对待。如果出现网络错误，抓取速度会立即减慢，因为网络错误表明服务器可能无法处理服务负载。由于 Google 无法连接到托管该网站的服务器，因此也无法从服务器接收到任何内容。

对于谷歌搜索而言，内容缺失意味着谷歌无法索引已抓取的网址，而已索引但无法访问的网址将在几天内从谷歌索引中移除。搜索控制台可能会针对每个相应的错误生成错误信息。

调试网络错误

这些错误发生在 Google 开始抓取 URL 之前或抓取 URL 的过程中。由于错误可能发生在服务器响应之前，因此没有状态码可以提示问题，诊断这些错误可能更具挑战性。要调试超时和连接重置错误：

• 查看您的防火墙设置和日志。可能存在范围过广的阻止规则。请确保 没有防火墙规则阻止 Google 的 IP 地址。
• 查看网络流量。使用tcpdump和 Wireshark等工具 捕获和分析 TCP 数据包，并查找指向特定网络组件或服务器模块的异常情况。
• 如果找不到任何可疑之处，请联系您的主机托管公司。

错误可能出现在处理网络流量的任何服务器组件中。例如，过载的网络接口可能会丢弃数据包，导致连接超时（无法建立连接）和连接重置（RST由于端口被错误关闭而发送的数据包）。

调试 DNS 错误

DNS 错误最常见的原因是配置错误，但也可能是由于防火墙规则阻止了 Google DNS 查询造成的。要调试 DNS 错误，请执行以下操作：

• 检查您的防火墙规则。确保 没有 任何防火墙规则阻止Google 的任何 IP 地址，并且 允许所有请求 UDP。TCP
• 查看您的 DNS 记录。仔细检查您的 ` DNS-IP`A和 CNAME`DNS-DNS-hostname` 记录是否分别指向正确的 IP 地址和主机名。例如：

  dig +nocmd example.com a +noall +answer

  dig +nocmd www.example.com cname +noall +answer

• 请检查所有域名服务器是否都指向您网站的正确 IP 地址。例如：

  dig +nocmd example.com ns +noall +answerexample.com.    86400  IN  NS  a.iana-servers.net.example.com.    86400  IN  NS  b.iana-servers.net.dig +nocmd @a.iana-servers.net example.com +noall +answerexample.com.    86400  IN  A  93.184.216.34dig +nocmd @b.iana-servers.net example.com +noall +answer...

• 如果您在过去 72 小时内更改了 DNS 配置，则可能需要等待更改在全球 DNS 网络中传播。为了加快传播速度，您可以 清除 Google 公共 DNS 缓存。
• 如果您运行自己的 DNS 服务器，请确保其运行状况良好且未过载。

调试 Google 爬虫的网络和 DNS 错误由“聚企互联“为您提供！