400-6446-365

企业网站建设标签代码的使用方法

2019-04-08

index、noindex、follow、nofollow的使用;

爬虫是目前最常见的网络程序,曾经有过统计,说是目前的网络流量有一半以上是爬虫使用的。虽然爬虫程序随处可见,但是并不代表这种做法就是合理合法的。
在抓取网页时,我们要让自己的爬虫遵守Robot.txt协议。一般网站有两种方式声明不想被爬虫爬取按:第一种是在站点的根目录下增加一个纯文本文件,例如http://www.aaa.com/robots.txt。第二种是直接在页面中使用robots的meta标签。
接下来,详细介绍一下robots的meta标签。标签有四类:index、noindex、follow、nofollow。使用时以逗号分隔。

index指令:表示Robot可以索引本页;
follow指令:表示Robot可以跟踪本页链接;
noindex指令:表示拒绝Robot索引本页,但可跟踪该页上的链接;
nofollow指令:表示拒绝Robot跟踪本页链接,但可索引本页

 
根据以上的命令,我们就有了一下的四种组合:

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">:可以抓取本页,而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">:不许抓取本页,但是可以顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">:可以抓取本页,但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">:不许抓取本页,也不许顺着本页抓取索引别的链接。

这里需要注意的是,不要把两个对立的反义词写到一起,例如

<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">

还有一点,禁止搜索引擎建立快照。

<meta name="robots" content="noarchive">

以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话,就可以像如下这样去写

<meta name="Googlebot" content="noarchive">
这样的标记是禁止搜索引擎为你的网站建立快照。


Meta标签的使用;

meta标签的组成

     meta标签共有两个属性,它们分别是http-equiv属性和name属性,不同的属性又有不同的参数值,这些不同的参数值就实现了不同的网页功能。

     1、name属性

     name属性主要用于描述网页,与之对应的属性值为content,content中的内容主要是便于搜索引擎机器人查找信息和分类信息用的。

     meat标签的name属性语法格式是:<meta name="参数" content="具体的参数值"> 。

     其中name属性主要有以下几种参数:

     A、Keywords(关键字)

     说明:keywords用来告诉搜索引擎你网页的关键字是什么。

     举例:<meta name ="keywords" content="science, education,culture,politics,ecnomics,relationships, entertaiment, human">

      B、description(网站内容描述)

     说明:description用来告诉搜索引擎你的网站主要内容。

     举例:<meta name="description" content="This page is about the meaning of science, education,culture.">

     C、robots(机器人向导)

     说明:robots用来告诉搜索机器人哪些页面需要索引,哪些页面不需要索引。

     content的参数有all,none,index,noindex,follow,nofollow。默认是all。

     举例:<meta name="robots" content="none">

     D、author(作者)

     说明:标注网页的作者

     举例:<meta name="author" content="zys666,zys666@21cn.com">

    2、http-equiv属性

     http-equiv顾名思义,相当于http的文件头作用,它可以向浏览器传回一些有用的信息,以帮助正确和精确地显示网页内容,与之对应的属性值为content,content中的内容其实就是各个参数的变量值。

     meat标签的http-equiv属性语法格式是:<meta http-equiv="参数" content="参数变量值"> ;其中http-equiv属性主要有以下几种参数:

     A、Expires(期限)

     说明:可以用于设定网页的到期时间。一旦网页过期,必须到服务器上重新传输。

     用法:<meta http-equiv="expires" content="Fri, 12 Jan 2001 18:18:18 GMT">

     注意:必须使用GMT的时间格式。

     B、Pragma(cache模式)

     说明:禁止浏览器从本地计算机的缓存中访问页面内容。

     用法:<meta http-equiv="Pragma" content="no-cache">

     注意:这样设定,访问者将无法脱机浏览。

     C、Refresh(刷新)

     说明:自动刷新并指向新页面。

     用法:<meta http-equiv="Refresh" content="2;URL=http://www.chinayancheng.net">

    注意:其中的2是指停留2秒钟后自动刷新到URL网址。

     D、Set-Cookie(cookie设定)

    说明:如果网页过期,那么存盘的cookie将被删除。

     用法:<meta http-equiv="Set-Cookie" content="cookievalue=xxx; expires=Friday, 12-Jan-2001 18:18:18 GMT; path=/">

     注意:必须使用GMT的时间格式。

     E、Window-target(显示窗口的设定)

     说明:强制页面在当前窗口以独立页面显示。

     用法:<meta http-equiv="Window-target" content="_top">

     注意:用来防止别人在框架里调用自己的页面。

     F、content-Type(显示字符集的设定)

     说明:设定页面使用的字符集。

     用法:<meta http-equiv="content-Type" content="text/html; charset=gb2312">

  meta标签的功能

     上面我们介绍了meta标签的一些基本组成,接着我们再来一起看看meta标签的常见功能:

    1、帮助主页被各大搜索引擎登录

     meta标签的一个很重要的功能就是设置关键字,来帮助你的主页被各大搜索引擎登录,提高网站的访问量。在这个功能中,最重要的就是对Keywords和description的设置。因为按照搜索引擎的工作原理,搜索引擎首先派出机器人自动检索页面中的keywords和decription,并将其加入到自己的数据库,然后再根据关键词的密度将网站排序。因此,我们必须设置好关键字,来提高页面的搜索点击率。下面我们来举一个例子供大家参考:

<meta name="keywords" content="政治,经济, 科技,文化, 卫生, 情感,心灵,娱乐,生活,社会,企业,交通">
<meta name="description" content="政治,经济, 科技,文化, 卫生, 情感,心灵,娱乐,生活,社会,企业,交通">

    设置好这些关键字后,搜索引擎将会自动把这些关键字添加到数据库中,并根据这些关键字的密度来进行合适的排序。

  2、定义页面的使用语言

  这是meta标签最常见的功能,在制作网页时,我们在纯HTML代码下都会看到它,它起的作用是定义你网页的语言,当浏览者访问你的网页时,浏览器会自动识别并设置网页中的语言,如果你网页设置的是GB码,而浏览者没有安装GB码,这时网页只会呈现浏览者所设置的浏览器默认语言。同样的,如果该网页是英语,那么charset=en。下面就是一个具有代表性的例子:

  <meta http-equiv=″content-Type″ content=″text/html; charset=gb2312″〉

该代码就表示将网页的语言设置成国标码。

  3、自动刷新并指向新的页面

  如果你想使您的网页在无人控制的情况下,能自动在指定的时间内去访问指定的网页,就可以使用meta标签的自动刷新网页的功能。下面我们来看一段代码:

  〈meta http-equiv=″refresh″ content=″2; URL=http://www.yeah.net″〉

  这段代码可以使当前某一个网页在2秒后自动转到http://www.yeah.net页面中去,这就是meta的刷新作用,在content中,2代表设置的时间(单位为秒),而URL就是在指定的时间后自动连接的网页地址。

  4、实现网页转换时的动画效果

  使用meta标签,我们还可以在进入网页或者离开网页的一刹那实现动画效果,我们只要在页面的html代码中的<head></head>标签之间添加如下代码就可以了:

<meta http-equiv="Page-Enter" content="revealTrans(duration=5.0, transition=20)">
<meta http-equiv="Page-Exit" content="revealTrans(duration=5.0, transition=20)">

一旦上述代码被加到一个网页中后,我们再进出页面时就会看到一些特殊效果,这个功能其实与FrontPage2000中的Format/Page Transition一样,但我们要注意的是所加网页不能是一个Frame页;

  5、网页定级评价

  IE4.0以上版本的浏览器可以防止浏览一些受限制的网站,而之所以浏览器会自动识别某些网站是否受限制,就是因为在网站meta标签中已经设置好了该网站的级别,而该级别的评定是由美国RSAC,即娱乐委员会的评级机构评定的,如果你需要评价自己的网站,可以连接到网站http://www.rsac.org/,按要求提交表格,那么RSAC会提供一段meta代码给你,复制到自己网页里就可以了。下面就是一段代码的样例:

 〈meta http-equiv=″PICS-Label″
 content=′(PICS-1.1 ″http://www.rsac.org/ratingsv01.html″
 l gen true comment ″RSACi North America Server″
 for ″http://www.rsac.org″
 on ″2001.08.16T08:15-0500″
 r (n 0 s 0 v 0 l 0))′〉

  6、控制页面缓冲

  meta标签可以设置网页到期的时间,也就是说,当你在Internet Explorer 浏览器中设置浏览网页时首先查看本地缓冲里的页面,那么当浏览某一网页,而本地缓冲又有时,那么浏览器会自动浏览缓冲区里的页面,直到meta中设置的时间到期,这时候,浏览器才会去取得新页面。例如下面这段代码就表示网页的到期时间是2001年1月12日18时18分18秒。

  〈meta http-equiv=″expires″ content=″Friday, 12-Jan-2001 18:18:18 GMT″〉

  7、控制网页显示的窗口

  我们还可以使用meta标签来控制网页显示的窗口,只要在网页中加入下面的代码就可以了:<metahttp-equiv="window-target" content="_top">,这段代码可以防止网页被别人作为一个Frame调用


robots.txt作用及其使用

robots.txt就是一份网站和搜索引擎双方签订的规则协议书,是搜索引擎中访问网站的时候要查看的第一个文件。首先爬行来检查该站点根目录下是否存在robots.txt。如果存在,蜘蛛就按照协议上规定爬行抓取;没有robots.txt,蜘蛛会随着链接爬行进行抓取。

理解User-agent和Disallow的定义:

User-agent:该项用于描述搜索引擎蜘蛛的名字;Disallow:该项用于描述不希望被抓取和索引的一个URL,这个URL可以是一条完整的路径

下面是一些robots.txt基本的用法: 
1、禁止所有搜索引擎访问网站的任何部分: 
User-agent: * 
Disallow: /

2、允许所有的robot访问 
User-agent: * 
Disallow: 
或者也可以建一个空文件robots.txt

3、禁止所有搜索引擎访问网站的几个部分(下例中的cgi-bin、tmp、private目录) 
User-agent: * 
Disallow: /cgi-bin/ 
Disallow: /tmp/ 
Disallow: /private/

4、禁止某个搜索引擎的访问(下例中的BadBot) 
User-agent: BadBot 
Disallow: /

5、只允许某个搜索引擎的访问(下例中的WebCrawler) 
User-agent: WebCrawler 
Disallow: 
User-agent: * 
Disallow: /


TAG标签耗时:0.0019280910491943 秒
010-64928252/400-6446-365 我现在就想找顾问聊聊
让决策变的简单
好的开始是成功的一半
您需要一位互联网
顾问提供专业咨询
AI人工智能 · VR · AR · 智慧博物馆 · 智慧公园 · 景区 · 文创 · 动画
高端网站建设 · 小程序 · APP · 微信 · H5 · 游戏 · 电商 · 年度运营