SEO - 搜索引擎优化、PV统计、搜索语法、蜘蛛爬虫、HTML模板

网站标题 - 通常取首页title标签或结构化数据指定。
网站站标 - 。。。
网页标题 - 通常取title标签或h1标签

原则

网页标题 - 第一个可见 <h1> 元素。
均不再支持keywords meta标签，但支持description meta标签。
API响应加禁止索引header头 X-Robots-Tag: noindex

Google

• Google搜索控制台->网页索引编制：“来源”列标为“Google”的网站主无法干预，若主动将网页加入了“已被 robots.txt 屏蔽”，即使被报告也不用理会。
  
  搜索展示网址最上方为网站名称，可通过格式化方式告知搜索引擎。
  第一个可见 <h1> 元素；
  若 div、span 或 section 元素存在 <div data-nosnippet>exclude content...</div> 属性，则该标签内容不会出现在摘要中;或用伪类：
    SEO避免抓取文字内容样式（JS方式似乎会被部分爬虫解析抓取）：
                      <style>
                          .titleToContent::after{
                              content: "（" attr(title) "）";
                          }
                      </style>
  

• ...

Bing

• 每个网页必须存在，且只存在一个<h1>网页标题</h1>，同时标题字数要达到50个(冗余至55个吧)。

• ...

Baidu

• ...

• 爬虫特点：
    先用PC的UA爬取：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
    数秒后手机爬取：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
  
  注意事项- 百度站长客服据观察，任何提问均回复“情况合理正常”或“符合预期”！
  
    百度抓取诊断 - 报“抓取异常信息：socket 读写错误”:
      偶发则为网络波动，若过半比例，则可能是海外服务器回程丢包所致(亲测Vultr东京机房丢包率50%)，致使等待3秒以上，国内服务器通常下载时长为1秒内。
      或Web服务器防火墙未放行80、443、ICMP端口所致；PowerShell亲测HTTP/1正常（curl -v http://congci.com/ads.txt），HTTP/2则响应received -1-byte；