武汉站多多 - 武汉ayx app终极解决方案
力求视觉与交互的完美契合,以规范的流程和专注的态度,为您提供全方位的设计服务
来源:武汉ayx app 浏览量: 发布时间:2018-11-08 09:31:20
url,即统一资源定位符,通过对url的分析,我们可以更好地理解页面抓取过程。今天,小小课堂SEO学网带来的是《页面抓取过程简述》。希望本次的SEO技术培训对大家有所帮助。
一、url是什么意思?
URL,英文全称为“uniform resource locator”,中文译为“统一资源定位符”。
在网站优化中要求每一个页面有且仅有一个唯一的统一资源定位符(URL),但往往很多网站同一页面对应了很多个URL,如果都被搜索引擎收录且未做URL转向,就会产生权重不集中的情况,通常称为URL不规范。
二、url的组成
统一资源定位符(URL),由三部分组成:协议方案、主机名和资源名。
例如:
https:// www.x**.org /11806
其中https为协议方案,www.***.org 为主机名 ,11806为资源,不过这个资源不太明显,一般资源后缀为.html,当然还可以是.pdf、.php、.word等格式。
三、页面抓取过程简述
无论是我们平时用的互联网浏览器,还是网络爬虫,虽然是两种不同的客户端,但获取页面的方式却是相同的。页面抓取过程如下:
① 连接DNS域名系统服务器
客户端都会先连接到DNS域名服务器上,DNS服务器将主机名( www.***.org )转换为IP地址,并反馈给客户端。
PS:本来我们通过111.152 . 151.45 的地址来访问某网站,为了方便记忆和使用,才利用DNS域名系统转换为了 www.***.org 。这也就是DNS域名系统的作用。
② 连接IP地址服务器
该IP服务器下可能会有很多程序(网站),可以通过端口号来做区分,同时每个程序(网站)都会监听端口是否有新的连接请求,HTTP网站默认为80,HTTPS网站默认为443。
不过通常情况下,端口号80和443是默认不出现的。
举例来讲:
https://www.***.org:443/ = https://www.***.org/
http://www.***.org:80/ = http://www.***.org/
③ 建立连接并发送页面请求
客户端与服务器建立连接后,会发送页面请求,通常为get,也可以是post。
get 11806 HTTPS/1.0
获取HTTPS协议下的页面11806 返回给客户端。之后如需继续获取更多页面,则发送其他请求,否则将关闭该连接。
PS:通常情况下 ,/seo/11806.html 可能会更清晰。也就是发送 https://www.***.org/ 下的 seo文件夹下的 11806.html 的页面请求。
如未特殊注明,文章均来源于网络! 转载请注明来自:http://www.zhandodo.com
11
本文来源:http://www.zhandodo.com 作者:武汉ayx app@武汉站多多 网络营销策划,本文由武汉站多多版权所有,未经批准转载必究。
LATEST CASE查看更多+
- · 关于新广告法涉及网站违禁词自查自纠告知书...
- · 武汉高端ayx app的注意事项有哪些?...
- · 武汉企业ayx app的基本步骤和流程...
- · 武汉网站制作新手该怎么做 这些方法可以借...
- · 品牌ayx app是需要注意的几个方面?...
- · 影响武汉ayx app的关键指标...
- · 武汉企业建设英文网站需要注意那些事项?...
- · 百度知道手把手教程:最新引流实战经验分享...
- · 不进行ayx app的公司会失去什么?看过来!...
- · ayx app的加载速度影响搜索引擎抓取吗?...
- · 百度搜索正式升级冰桶算法5.0...
- · 网站吸引蜘蛛抓取的方法...
- · 如何打造一个高颜值的网站?...
- · 为什么还要做PC端网站? 这是我听过的最...
- · 站多多完成湖北中卢亨科技发展有限公司网站...
- · 站多多完成武汉市威斯德智能装备有限公司网...