面向机器的抓取优化1 缺省域名唯一化：缺省goalercn.com 设置301跳转到 www.goalercn.com 一方面减少搜索引擎页面消重的负担，一方面可以将针对相同内容的反向链接权重汇总。对于缺省使用https访问的网站，如果不跳转（比如以前的支付宝），往往还会有浏览器提示安全证书路径不匹配的问题； 另外： 在Google Webmaster tools中也有缺省域名的配置；2 被遗忘的流量：想办法搜集域名解析失败和拼写错误导致的流量流失；曾经启用过的域名，就尽量不要删除，一直保留并设置转向到最新的地址；有渠道取到DNS的这种记录吗？3 404页面的运营：返回hard 404(返回http header而不是html 404 header)，统计并跟踪带有referer的404日志，修正这些问题；...

Call robot()Sub robot()Dim robots:robots="Baiduspider@Baidu|Baiduspider+@Baidu|Google@Google|Googlebot@Google|[email protected]|ia_archiver@Alexa|IAArchiver@Alexa|ASPSeek@ASPSeek|YahooSeeker@Yahoo|sohu-search@Sohu|help.yahoo.com/help/us/ysearch/slurp@Yahoo|sohu-search@SOHU|MSNBOT@MSN"dim I1,I2,l1,l2,l3,i,rsl2=falsel1=request.servervariables("http_user_agent")F1=request.ServerVariables("SCRIPT_NAME")I1=split(robots,chr(124))for i=0 to ubound(I1)I2=split(I1(i),"@")if instr(lcase(l1),lcase(I2(0))...