成为“黑客”前，必须学习的“计算机网络通信原理”

"黑客"的目的是寻找目标漏洞，然后去发起攻击或者提出解决方案修补漏洞，而寻找漏洞的过程，你就需要掌握很多知识，例如计算机原理、计算机网络、操作系统、计算机软件、编程语言、数据结构、数据库技术、前沿技术等等，在这么多要学习的内容里，首先需要先学习"网络通信原理"，为什么?因为网络通信原理十分重要，根据他的原理可以判断出许多貌似正确的理论其实是有很多漏洞的通信过程，而很多黑客攻击就是利用了这些漏洞，很多网络安全解决方案也是用来解决这些漏洞问题的。

一、网络的由来

互联网的本质就是一系列的网络协议。

一台硬设有了操作系统，然后装上软件你就可以正常使用了，每个人都拥有一台自己的机器，然而彼此孤立。

如何能让大家一起玩耍，就有了初步的网络，其实两台计算机之间通信与两个人打电话之间通信的原理是一样的，普通话属于中国国内人与人之间通信的标准，那如果是两个国家的人交流呢?问题是，你不可能要求一个人/计算机掌握全世界的语言/标准，于是有了世界统一的通信标准：英语

结论：英语成为世界上所有人通信的统一标准，如果把计算机看成分布于世界各地的人，那么连接两台计算机之间的internet实际上就是一系列统一的标准，这些标准称之为互联网协议，互联网的本质就是一系列的协议，总称为'互联网协议'(Internet Protocol Suite).

互联网协议的功能：定义计算机如何接入internet，以及接入internet的计算机通信的标准。

二、网络协议介绍

互联网协议按照功能不同分为osi七层或tcp/ip五层

每层运行常见物理设备

五层模型讲解

我们将应用层，表示层，会话层并作应用层，从tcp/ip五层协议的角度来阐述每层的由来与功能，搞清楚了每层的主要协议，就理解了整个互联网通信的原理。

首先，用户感知到的只是最上面一层应用层，自上而下每层都依赖于下一层，所以我们从最下一层开始切入，比较好理解每层都运行特定的协议，越往上越靠近用户，越往下越靠近硬件

1. 物理层：

上面提到，孤立的计算机之间要想一起玩，就必须接入internet，言外之意就是计算机之间必须完成组网

物理层功能：主要是基于电器特性发送高低电压(电信号)，高电压对应数字1，低电压对应数字0

2. 数据链路层：

单纯的电信号0和1没有任何意义，必须规定电信号多少位一组，每组什么意思

数据链路层的功能：定义了电信号的分组方式

(1) 以太网协议：

早期的时候各个公司都有自己的分组方式，后来形成了统一的标准，即以太网协议ethernet。

ethernet规定

• 一组电信号构成一个数据包，叫做'帧'
• 每一数据帧分成：报头head和数据data两部分
• head包含：(固定18个字节)
• 发送者/源地址，6个字节
• 接收者/目标地址，6个字节
• 数据类型，6个字节
• data包含：(最短46字节，最长1500字节)

数据包的具体内容

• head长度+data长度=最短64字节，最长1518字节，超过最大限制就分片发送

(2) mac地址：

head中包含的源和目标地址由来：ethernet规定接入internet的设备都必须具备网卡，发送端和接收端的地址便是指网卡的地址，即mac地址。

mac地址：每块网卡出厂时都被烧制上一个世界唯一的mac地址，长度为48位2进制，通常由12位16进制数表示(前六位是厂商编号，后六位是流水线号)

(3) 广播：

有了mac地址，同一网络内的两台主机就可以通信了(一台主机通过arp协议获取另外一台主机的mac地址)ethernet采用最原始的方式，广播的方式进行通信，即计算机通信基本靠吼

3. 网络层：

有了ethernet、mac地址、广播的发送方式，世界上的计算机就可以彼此通信了，问题是世界范围的互联网是由一个个彼此隔离的小的局域网组成的，那么如果所有的通信都采用以太网的广播方式，那么一台机器发送的包全世界都会收到，这就不仅仅是效率低的问题了，这会是一种灾难

上图结论：必须找出一种方法来区分哪些计算机属于同一广播域，哪些不是，如果是就采用广播的方式发送，如果不是，就采用路由的方式(向不同广播域/子网分发数据包)，mac地址是无法区分的，它只跟厂商有关。

网络层功能：引入一套新的地址用来区分不同的广播域/子网，这套地址即网络地址

(1) IP协议：

规定网络地址的协议叫ip协议，它定义的地址称之为ip地址，广泛采用的v4版本即ipv4，它规定网络地址由32位2进制表示。

范围0.0.0.0-255.255.255.255

一个ip地址通常写成四段十进制数，例：172.16.10.1

ip地址分成两部分

• 网络部分：标识子网
• 主机部分：标识主机

注意：单纯的ip地址段只是标识了ip地址的种类，从网络部分或主机部分都无法辨识一个ip所处的子网

例：172.16.10.1与172.16.10.2并不能确定二者处于同一子网

(2) 子网掩码

所谓"子网掩码"，就是表示子网络特征的一个参数。它在形式上等同于IP地址，也是一个32位二进制数字，它的网络部分全部为1，主机部分全部为0。比如，IP地址172.16.10.1，如果已知网络部分是前24位，主机部分是后8位，那么子网络掩码就是11111111.11111111.11111111.00000000，写成十进制就是255.255.255.0。

知道"子网掩码"，我们就能判断，任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算(两个数位都为1，运算结果为1，否则为0)，然后比较结果是否相同，如果是的话，就表明它们在同一个子网络中，否则就不是。

比如，已知IP地址172.16.10.1和172.16.10.2的子网掩码都是255.255.255.0，请问它们是否在同一个子网络?两者与子网掩码分别进行AND运算，

172.16.10.1：10101100.00010000.00001010.000000001  
255255.255.255.0:11111111.11111111.11111111.00000000 

AND运算得网络地址结果：

10101100.00010000.00001010.000000001->172.16.10.0 
172.16.10.2：10101100.00010000.00001010.000000010 
255255.255.255.0:11111111.11111111.11111111.00000000 

AND运算得网络地址结果：

10101100.00010000.00001010.000000001->172.16.10.0 

结果都是172.16.10.0，因此它们在同一个子网络。

总结一下，IP协议的作用主要有两个，一个是为每一台计算机分配IP地址，另一个是确定哪些地址在同一个子网络。

(3) ip数据包

ip数据包也分为head和data部分，无须为ip包定义单独的栏位，直接放入以太网包的data部分

• head：长度为20到60字节
• data：最长为65,515字节。

而以太网数据包的"数据"部分，最长只有1500字节。因此，如果IP数据包超过了1500字节，它就需要分割成几个以太网数据包，分开发送了。

(4) ARP协议

arp协议由来：计算机通信基本靠吼，即广播的方式，所有上层的包到最后都要封装上以太网头，然后通过以太网协议发送，在谈及以太网协议时候，我门了解到通信是基于mac的广播方式实现，计算机在发包时，获取自身的mac是容易的，如何获取目标主机的mac，就需要通过arp协议

arp协议功能：广播的方式发送数据包，获取目标主机的mac地址

协议工作方式：每台主机ip都是已知的

例如：主机172.16.10.10/24访问172.16.10.11/24

• 首先通过ip地址和子网掩码区分出自己所处的子网
• 分析172.16.10.10/24与172.16.10.11/24处于同一网络(如果不是同一网络，那么下表中目标ip为172.16.10.1,通过arp获取的是网关的mac)
• 这个包会以广播的方式在发送端所处的自网内传输，所有主机接收后拆开包，发现目标ip为自己的，就响应，返回自己的mac

4. 传输层：

网络层的ip帮我们区分子网，以太网层的mac帮我们找到主机，然后大家使用的都是应用程序，你的电脑上可能同时开启qq，暴风影音，等多个应用程序，那么我们通过ip和mac找到了一台特定的主机，如何标识这台主机上的应用程序，答案就是端口，端口即应用程序与网卡关联的编号。

传输层功能：建立端口到端口的通信

补充：端口范围0-65535，0-1023为系统占用端口

• tcp协议：可靠传输，TCP数据包没有长度限制，理论上可以无限长，但是为了保证网络的效率，通常TCP数据包的长度不会超过IP数据包的长度，以确保单个TCP数据包不必再分割。
• udp协议：不可靠传输，"报头"部分一共只有8个字节，总长度不超过65,535字节，正好放进一个IP数据包。
• tcp报文

• tcp三次握手和四次挥手

5. 应用层：

用户使用的都是应用程序，均工作于应用层，互联网是开发的，大家都可以开发自己的应用程序，数据多种多样，必须规定好数据的组织形式

应用层功能：规定应用程序的数据格式。

例：TCP协议可以为各种各样的程序传递数据，比如Email、WWW、FTP等等。那么，必须有不同协议规定电子邮件、网页、FTP数据的格式，这些应用程序协议就构成了"应用层"。

6. Socket：

我们知道两个进程如果需要进行通讯最基本的一个前提能能够唯一的标示一个进程，在本地进程通讯中我们可以使用PID来唯一标示一个进程，但PID只在本地唯一，网络中的两个进程PID冲突几率很大，这时候我们需要另辟它径了，我们知道IP层的ip地址可以唯一标示主机，而TCP层协议和端口号可以唯一标示主机的一个进程，这样我们可以利用ip地址+协议+端口号唯一标示网络中的一个进程。

能够唯一标示网络中的进程后，它们就可以利用socket进行通信了，什么是socket呢?我们经常把socket翻译为套接字，socket是在应用层和传输层之间的一个抽象层，它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用已实现进程在网络中通信。

socket起源于UNIX，在Unix一切皆文件哲学的思想下，socket是一种"打开—读/写—关闭"模式的实现，服务器和客户端各自维护一个"文件"，在建立连接打开后，可以向自己文件写入内容供对方读取或者读取对方内容，通讯结束时关闭文件。

三、网络通信实现

每台主机实现网络通信的基本四要素：

• 本机的IP地址
• 子网掩码
• 网关的IP地址
• DNS的IP地址

获取这四要素分两种方式：

(1) 静态获取：即手动配置

(2) 动态获取：通过dhcp获取

• 最前面的"以太网标头"，设置发出方(本机)的MAC地址和接收方(DHCP服务器)的MAC地址。前者就是本机网卡的MAC地址，后者这时不知道，就填入一个广播地址：FF-FF-FF-FF-FF-FF。
• 后面的"IP标头"，设置发出方的IP地址和接收方的IP地址。这时，对于这两者，本机都不知道。于是，发出方的IP地址就设为0.0.0.0，接收方的IP地址设为255.255.255.255。
• 最后的"UDP标头"，设置发出方的端口和接收方的端口。这一部分是DHCP协议规定好的，发出方是68端口，接收方是67端口。

这个数据包构造完成后，就可以发出了。以太网是广播发送，同一个子网络的每台计算机都收到了这个包。因为接收方的MAC地址是FF-FF-FF-FF-FF-FF，看不出是发给谁的，所以每台收到这个包的计算机，还必须分析这个包的IP地址，才能确定是不是发给自己的。当看到发出方IP地址是0.0.0.0，接收方是255.255.255.255，于是DHCP服务器知道"这个包是发给我的"，而其他计算机就可以丢弃这个包。

接下来，DHCP服务器读出这个包的数据内容，分配好IP地址，发送回去一个"DHCP响应"数据包。这个响应包的结构也是类似的，以太网标头的MAC地址是双方的网卡地址，IP标头的IP地址是DHCP服务器的IP地址(发出方)和255.255.255.255(接收方)，UDP标头的端口是67(发出方)和68(接收方)，分配给请求端的IP地址和本网络的具体参数则包含在Data部分。

新加入的计算机收到这个响应包，于是就知道了自己的IP地址、子网掩码、网关地址、DNS服务器等等参数。

四、例举主机访问网站的网络通信过程

首先打开浏览器，在地址栏输入URL，回车，出现网站内容。这是我们几乎每天都在做的事，那这个过程中到底是什么原理呢?HTTP、TCP、DNS、IP这些耳熟能详的名词都在什么时候起着什么作用呢?在这里整体梳理一遍。

1. 整个过程基本分做下面几个部分：

• 域名解析成IP地址;
• 与目的主机进行TCP连接(三次握手);
• 发送与收取数据;
• 与目的主机断开TCP连接(四次挥手);

下面分别进行详细说明。

2. 域名解析成IP地址

(1) 首先说什么是域名解析?

我们在浏览器地址栏中输入的都是类似"www.baidu.com"、"www.qq.com"等等容易记忆的英文域名，但这些字母你直接交给整个网络线路去寻找目的主机找得到吗?找不到，因为每个主机在网络中的位置都是以IP标识的，IP才是主机在网络中的位置，域名只是为了方便用户记忆而已，这就要求浏览器能够识别域名并且将其转化为对应的IP地址。

所以浏览器会有一个DNS缓存，其中记录了一些域名与IP的对应关系，供浏览器快速查找需要的IP。但是这个DNS缓存不可能存下所有的域名-IP地址，何况IP地址有时候还会变化，因此当在DNS缓存中没有找到的时候，就要先向DNS服务器请求域名解析，我们常听到的DNS服务器很大的作用就是进行域名解析。

值得一提的是，DNS域名解析时用的是UDP协议。

(2) 整个域名解析的过程如下：

• 浏览器向本机DNS模块发出DNS请求，DNS模块生成相关的DNS报文;
• DNS模块将生成的DNS报文传递给传输层的UDP协议单元;
• UDP协议单元将该数据封装成UDP数据报，传递给网络层的IP协议单元;
• IP协议单元将该数据封装成IP数据包，其目的IP地址为DNS服务器的IP地址;
• 封装好的IP数据包将传递给数据链路层的协议单元进行发送;
• 发送时在ARP缓存中查询相关数据，如果没有，就发送ARP广播(包含待查询的IP地址，收到广播的主机检查自己的IP，符合条件的主机将含有自己MAC地址的ARP包发送给ARP广播的主机)请求，等待ARP回应;
• 得到ARP回应后，将IP地址与路由的下一跳MAC地址对应的信息写入ARP缓存表;
• 写入缓存后，以路由下一跳的地址填充目的MAC地址，以数据帧形式转发;
• 转发可能进行多次;
• DNS请求到达DNS服务器的数据链路层协议单元;
• DNS服务器的数据链路层协议单元解析数据帧，将内部的IP数据包传递给网络层IP协议单元;
• DNS服务器的IP协议单元解析IP数据包，将内部的UDP数据报传递给传输层UDP协议单元;
• DNS服务器的UDP协议单元解析收到的UDP数据报，将内部的DNS报文传递给DNS服务单元;
• DNS服务单元将域名解析成对应IP地址，产生DNS回应报文;
• DNS回应报文->UDP->IP->MAC->我的主机;
• 我的主机收到数据帧，将数据帧->IP->UDP->浏览器;
• 将域名解析结果以域名和IP地址对应的形式写入DNS缓存表。

其中提到了一个ARP的概念，类似于DNS将域名翻译成IP，ARP则是将IP翻译成MAC地址，我们知道了IP后，需要通过主机的MAC地址来更具体的找到主机。同样的也有一个ARP缓存，其中存储了一些IP与MAC地址的对应关系，如果缓存中找不到，就会进行广播来查找MAC地址，收到广播的主机会检查自己的IP是否是待查找的IP，是的话就返回自己的MAC地址。

如果做开发，往往还会接触到端口这个概念，那端口是什么呢?这里是指TCP/IP协议中的端口，端口号的范围从0到65535，比如用于浏览网页服务的80端口，用于FTP服务的21端口等等，都有一些固定的端口号，被占用后就不能被别的服务拿来传输数据了。

3. 与目的主机进行TCP连接(三次握手)

得到域名对应的IP地址后，也就表示可以将数据送达目的主机了，这时候才开始我们常说的三次握手建立连接。

HTTP的请求时使用TCP进行传输的，可以保证可靠传输，并且有序，而TCP是有连接的传输，也就是在传输数据之前，会建立我的主机与目的主机之间的连接，然后才能传输数据，传输完成后，还有断开连接。这也就是TCP的三次握手和四次挥手，大致过程如下图所示：

具体的三次握手建立连接的过程如下表述，其中数据包的传输过程类似上文请求DNS服务器时的过程，就简单的表示一下：

• 向目的主机发送TCP连接请求报文;
• 该TCP报文中SYN标志位设为1，表示连接请求;
• 该TCP报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
• 目的主机收到数据帧，通过IP->TCP，TCP协议单元回应请求应答报文;
• 该报文中SYN和ACK标志设为1，表示连接请求应答;
• 该TCP报文通过IP(DNS)->MAC(ARP)->网关->我的主机;
• 我的主机收到数据帧，通过IP->TCP，TCP协议单元回应请求确认报文;
• 该TCP报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
• 目的主机收到数据帧，通过IP->TCP，连接建立完成。

三次握手的过程就是一去一回一去，互相确认一下，就建立连接啦。这个过程中任何一个报文出错或者超时，都要进行重传。

4. 发送与收取数据

如上所说，只有建立连接后才能开始传输数据，数据其实有多种传输方式，比如分段啊分组啊分时啊等等。而一个数据包的传输过程如下所示，以HTTP的GET方法请求为例：

• 浏览器向域名发出GET方法报文;
• 该GET方法报文通过TCP->IP(DNS)->MAC(ARP)->网关->目的主机;
• 目的主机收到数据帧，通过IP->TCP->HTTP，HTTP协议单元会回应HTTP协议格式封装好的HTML形式数据;
• 该HTML数据通过TCP->IP(DNS)->MAC(ARP)->网关->我的主机;
• 我的主机收到数据帧，通过IP->TCP->HTTP->浏览器，浏览器以网页形式显示HTML内容。

其他的HTTP方法在传输数据时方法都类似，只是所携带的内容不同。

5. 与目的主机断开TCP连接(四次挥手)

数据传输完成后需要断开连接，与建立时不同，断开连接需要多一次，有四次挥手，至于为什么，看完过程我们再讲。

看图理解过程：

过程如下：

• 浏览器向目的主机发出TCP连接结束请求报文，此时进入FIN WAIT状态;
• 该报文FIN标志位设为1，表示结束请求;
• TCP结束请求报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
• 目的主机收到数据帧，通过IP->TCP，TCP协议单元回应结束应答报文;
• 当前只是进行回应，因为目的主机可能还有数据要传，并不急着断开连接;
• 该报文中ACK标志位设为1，表示收到结束请求;
• 目的数据发送完所有数据后，向我的主机发出TCP连接结束请求报文;
• 该报文FIN标志位设为1，表示结束请求;
• TCP结束请求报文通过IP(DNS)->MAC(ARP)->网关->我的主机;
• 我的主机收到数据帧，通过IP->TCP，TCP协议单元回应结束应答报文，此时进入TIME WAIT状态，因为不相信网络是可靠的，如果目的主机没收到还可以重发;
• 该报文中的FIN标志位均设为1，表示结束应答;
• 该TCP回应报文通过IP(DNS)->MAC(ARP)->网关->目的主机;
• 目的主机关闭连接;
• TIME WAIT等待结束后，没有收到回复，说明目的正常关闭了，我的主机也关闭连接。

这里的过程是以我的主机主动发起结束请求开始的，实际上也可以由目的主机主动发起，那么过程就会跟上面相反，但细节差不多。

FIN_WAIT状态是主动发起请求时等待确认信息，而TIME_WAIT状态是收到结束请求后发送确认信息后等待看是否需要重发。

现在来说说为什么断开连接时需要四次挥手呢?因为建立连接时目的主机可以直接发送SYN(同步)+ACK(应答)报文。而当断开时，目的主机收到FIN后可能还有数据要发，并不一定直接断开，所以先发送一次应答，告知我的主机收到了请求，等确认所有数据都发完了，再发送FIN，同时等待我的主机应答，这里的FIN和ACK就不能一起发送，所以需要四次。

6. 总结一下：

以上就是主机访问网站时的网络通信全过程，归纳起来就是：

首先要通过域名找到IP，如果缓存里没有就要请求DNS服务器;得到IP后开始于目的主机进行三次握手来建立TCP连接;连接建立后进行HTTP访问，传输并获取网页内容;传输完后与目的主机四次挥手来断开TCP连接。