Existem muitos protocolos na família de protocolos. Este livro seleciona apenas os protocolos IP e TCP – que têm o impacto mais direto na programação de rede.
As mesmas sete camadas constituem o modelo de referência osi. Após simplificação, quatro camadas diferentes se comunicam entre si por meio de interfaces, o que facilita a modificação de cada camada.
Camada de aplicação Responsável por lidar com a lógica do aplicativo
Camada de apresentação Define o formato e a criptografia dos dados
camada de sessão Define como iniciar, controlar e encerrar uma sessão, incluindo o controle e gerenciamento de múltiplas mensagens bidirecionais, para que as aplicações possam ser notificadas quando apenas parte de uma mensagem contínua for concluída, para que os dados vistos pela camada de apresentação sejam contínuos.
camada de transporte Fornece comunicação ponta a ponta para aplicativos em dois hosts Diferente do próximo salto usado pela camada de rede, ele se preocupa apenas com o início e o fim, e o processo de transferência é deixado para a camada inferior. esta camada: Protocolo TCP e protocolo UDP Protocolo TCP (Transmission Control Protocol Transmission Control Protocol)
可靠的, 面向连接, 基于流的服务
para a camada de aplicação超时重传
e数据确认
.不可靠的, 无连接的, 基于数据报的服务
para a camada de aplicação数据确认
e超时重传
.有自己的长度
camada de rede Ele realiza o roteamento e encaminhamento de pacotes de dados. Se o pacote de dados não puder alcançar o endereço de destino, ele irá下一跳
o próximo salto (salto a salto) e escolherá o protocolo IP (Internet Protocol) e o protocolo ICMP (Internet Control Message Protocol) mais próximos. ) O último protocolo É um complemento ao protocolo IP, usado para detectar conexões de rede 1. Mensagens de erro, usadas para responder ao status 2. Mensagens de consulta (o programa ping usa esta mensagem para determinar se a informação foi entregue).
camada de enlace de dados Um driver de rede que implementa a interface da placa de rede. O driver aqui facilita as modificações da camada inferior do fabricante e só precisa fornecer a interface especificada para a camada superior. Existem dois protocolos : ARP (Address Resolve Protocol, Protocolo de Resolução de Endereço) . também são RARP (Reverse ~, Reverse Address Resolution Protocol) . Como a camada de rede usa endereços IP para endereçar máquinas, mas a camada de enlace de dados usa endereços físicos (geralmente endereços MAC), a conversão entre eles envolve falsificação de ARP do protocolo ARP, que pode. estar relacionado a isso. Não estou estudando no momento.
encapsulamento O protocolo da camada superior é enviado para o protocolo da camada inferior. Ele é implementado por meio de encapsulamento. Ao transmitir entre TCP报文段
, suas próprias informações de cabeçalho são adicionadas.
Os dados encapsulados pelo UDP tornam-se UDP数据报
Após ser encapsulado pelo IP, ele se torna IP数据报
Por fim, é encapsulado pela camada de enlace de dados e se torna帧
O quadro de dados máximo da Ethernet é de 1518 bytes, descartando 14 cabeçalhos e 4 somas de verificação no final do quadro. MTU: A unidade máxima de transmissão do quadro é geralmente de 1500 bytes. MSS: A carga máxima de dados dos pacotes TCP é de 1460 bytes. = 1500 bytes - cabeçalho 20Ip - O cabeçalho 20TCP possui uma parte opcional adicional de 40 bytes.
ARP O protocolo ARP pode realizar a conversão de qualquer endereço da camada de rede em qualquer endereço físico.
O protocolo IP é o protocolo central do conjunto de protocolos TCP/IP e uma das bases da programação de redes de soquete. O protocolo IP fornece serviços sem estado, sem conexão e não confiáveis para protocolos de camada superior.
O comprimento máximo do datagrama IP é 65.535 (2 ^ 16 - 1) bytes, mas há um limite de MTU
Quando o comprimento de um datagrama IP excede o MTU, ele será fragmentado para transmissão. A fragmentação pode ocorrer no remetente ou no roteador de trânsito, ou pode ser fragmentado várias vezes. Somente na máquina de destino final, esses fragmentos podem. ser remontado pelo módulo ip no kernel
mecanismo de roteamento
Depois que o endereço IP de destino for fornecido, qual item da tabela de roteamento será correspondido. Existem três etapas.
A leitura e gravação TCP são todas para buffers, portanto não há correspondência fixa entre o número de leituras e gravações.
O UDP não possui buffer. Os dados devem ser recebidos a tempo, caso contrário os pacotes serão perdidos ou, se o buffer de recebimento for muito pequeno, os datagramas serão truncados.
ISN - Valor do número de sequência inicial Número de sequência de 32 bits O valor do número de sequência no segmento de mensagem TCP subsequente seq = ISN + O deslocamento do primeiro byte do segmento de mensagem em todo o fluxo de bytes Número de confirmação de 32 bits O valor do número de sequência de a mensagem TCP recebida + 1 Este número de confirmação de 32 bits é enviado sempre que é a última resposta.
Sinalizador ACK: Indica se o número de confirmação é válido. O segmento de mensagem que transporta o sinalizador ACK é chamado确认报文段
. Sinalizador PSH: Solicita ao aplicativo receptor que leia os dados do buffer de recebimento TCP para liberar espaço para os dados subsequentes. Requisitos A outra parte restabelece a conexão e carrega... o复位报文段
Sinalizador SYN: o sinalizador solicita o estabelecimento de uma conexão e carrega...同步报文段
Sinalizador FIN: informa à outra parte que a conexão local será encerrada , e carrega...结束报文段
Tamanho da janela de 16 bits: A janela refere-se à janela de notificação de recebimento, que informa à outra parte quantos bytes de dados o buffer de recebimento TCP local pode conter:可靠传输的重要保障
e a extremidade receptora executa a verificação do algoritmo CRC, verifique se está danificado e verifique TCP头部
e数据部分
ao mesmo tempo.
Estabelecimento e fechamento de conexão TCP
# 三次握手
# 客户端发送请求连接 ISN= seq + 0 = 3683340920
# mss 最大数据载量1460
IP 192 . 168 . 80 . 1 . 7467 > ubuntu. 8000 :
Flags [S], seq 3683340920 , win 64240 ,
options [mss 1460 , nop ,wscale 8 , nop , nop ,sackOK], length 0
# 同意客户端连接
# ack = 客户端发送 seq + 1
# 同时发送服务端的seq
IP ubuntu. 8000 > 192 . 168 . 80 . 1 . 7467 :
Flags [S.], seq 938535101 , ack 3683340921 , win 64240 ,
options [mss 1460 , nop , nop ,sackOK, nop ,wscale 7 ], length 0
# 虽然这个报文段没有字节 但由于是同步报文段 需要占用一个序号值
# 这里是tcpdump的处理 ack显示相对值 即 3683340921 - 3683340920 = 1
IP 192 . 168 . 80 . 1 . 7467 > ubuntu. 8000 :
Flags [.], ack 938535102 , win 4106 , length 0
# 包含FIN标志 说明要求结束连接 也需要占用一个序号值
IP 192 . 168 . 80 . 1 . 7467 > ubuntu. 8000 :
Flags [F.], seq 1 , ack 1 , win 4106 , length 0
# 服务端确认关闭连接
IP ubuntu. 8000 > 192 . 168 . 80 . 1 . 7467 :
Flags [.], ack 2 , win 502 , length 0
# 服务端发送关闭连接
IP ubuntu. 8000 > 192 . 168 . 80 . 1 . 7467 :
Flags [F.], seq 1 , ack 2 , win 4105 , length 0
# 客户端确认
IP 192 . 168 . 80 . 1 . 7467 > ubuntu. 8000 :
Flags [.], ack 2 , win 503 , length 0
A API básica do soquete está localizada no arquivo de cabeçalho sys/socket.h
. O significado inicial de soquete é um par de endereço IP e porta. A única informação de rede que representa a comunicação TCP está no arquivo de cabeçalho netdb.h
.
A ordem de bytes é dividida em大端字节序
e小端字节序
Como a maioria dos PCs usa ordem de bytes little-endian (existem bits altos em endereços altos), a ordem de bytes little-endian também é chamada de ordem de bytes de host.
Para evitar confusão causada por diferentes ordens de bytes de máquinas diferentes, estipula-se que a transmissão deve ser unificada em ordem de bytes big-endian (ordem de bytes da rede). Desta forma, o host decidirá de acordo com sua própria situação - se). para converter a ordem de bytes dos dados recebidos
conexão básica
// 主机序和网络字节序转换
# include < netinet/in.h >
unsigned long int htonl ( unsigned long int hostlong); // host to network long
unsigned short int htons ( unsigned short int hostlong); // host to network short
unsigned long int htonl ( unsigned long int netlong);
unsigned short int htons ( unsigned short int netlong);
// IP地址转换函数
# include < arpa/inet.h >
// 将点分十进制字符串的IPv4地址, 转换为网络字节序整数表示的IPv4地址. 失败返回INADDR_NONE
in_addr_t inet_addr ( const char * strptr);
// 功能相同不过转换结果存在 inp指向的结构体中. 成功返回1 反之返回0
int inet_aton ( const char * cp, struct in_addr * inp);
// 函数返回一个静态变量地址值, 所以多次调用会导致覆盖
char * inet_ntoa ( struct in_addr in);
// src为 点分十进制字符串的IPv4地址 或 十六进制字符串表示的IPv6地址 存入dst的内存中 af指定地址族
// 可以为 AF_INET AF_INET6 成功返回1 失败返回-1
int inet_pton ( int af, const char * src, void * dst);
// 协议名, 需要转换的ip, 存储地址, 长度(有两个常量 INET_ADDRSTRLEN, INET6_ADDRSTRLEN)
const char * inet_ntop ( int af, const void * src, char * dst, socklen_t cnt);
// 创建 命名 监听 socket
# include < sys/types.h >
# include < sys/socket.h >
// domain指定使用那个协议族 PF_INET PF_INET6
// type指定服务类型 SOCK_STREAM (TCP协议) SOCK_DGRAM(UDP协议)
// protocol设置为默认的0
// 成功返回socket文件描述符(linux一切皆文件), 失败返回-1
int socket ( int domain, int type, int protocol);
// socket为socket文件描述符
// my_addr 为地址信息
// addrlen为socket地址长度
// 成功返回0 失败返回 -1
int bind ( int socket, const struct sockaddr * my_addr, socklen_t addrlen);
// backlog表示队列最大的长度
int listen ( int socket, int backlog);
// 接受连接 失败返回-1 成功时返回socket
int accept ( int sockfd, struct sockaddr * addr, socklen_t * addrlen)
cliente
// 发起连接
#include <sys/types.h>
#include <sys/socket.h>
// 第三个参数为 地址指定的长度
// 成功返回0 失败返回-1
int connect ( int sockfd , const struct sockaddr * serv_addr , socklen_t addrlen );
// 关闭连接
#include <unistd.h>
// 参数为保存的socket
// 并非立即关闭, 将socket的引用计数-1, 当fd的引用计数为0, 才能关闭(需要查阅)
int close ( int fd );
// 立即关闭
#include <sys/socket.h>
// 第二个参数为可选值
// SHUT_RD 关闭读, socket的接收缓冲区的数据全部丢弃
// SHUT_WR 关闭写 socket的发送缓冲区全部在关闭前发送出去
// SHUT_RDWR 同时关闭读和写
// 成功返回0 失败为-1 设置errno
int shutdown ( int sockfd , int howto )
TCP básico
#include <sys/socket.h>
#include <sys/types.h>
// 读取sockfd的数据
// buf 指定读缓冲区的位置
// len 指定读缓冲区的大小
// flags 参数较多
// 成功的时候返回读取到的长度, 可能小于预期长度, 需要多次读取. 读取到0 通信对方已经关闭连接, 错误返回-1
ssize_t recv ( int sockfd , void * buf , size_t len , int flags );
// 发送
ssize_t send ( int sockfd , const void * buf , size_t len , int flags );
nome da opção | significado | Disponível para envio | disponível para receber |
---|---|---|---|
MSG_CONFIRM | Instrui o protocolo da camada de enlace a continuar escutando até que uma resposta seja recebida (só pode ser usado para soquetes do tipo SOCK_DGRAM e SOCK_RAW). | S | N |
MSG_DONTROUTE | Sem verificar a tabela de roteamento, os dados são enviados diretamente para o host da LAN local (o que significa que o remetente sabe que o host de destino está na rede local) | S | N |
MSG_DONTWAIT | sem bloqueio | S | S |
MSG_MORE | Informe ao kernel que há mais dados a serem enviados e espere até que os dados sejam gravados no buffer antes de enviá-los todos juntos. Reduza mensagens curtas e melhore a eficiência da transmissão. | S | N |
MSG_WAITALL | A operação de leitura espera até que o byte especificado seja lido antes de retornar. | N | S |
MSG_PEEK | Dê uma olhada nos dados do cache interno, isso não afetará os dados | N | S |
MSG_OOB | Envie ou receba dados de emergência | S | S |
MSG_NOSIGNAL | A gravação de dados em um tubo fechado para leitura ou conexão de soquete não acionará o sinal SIGPIPE. | S | N |
UDP básico
#include <sys/types.h>
#include <sys/socket.h>
// 由于UDP不保存状态, 每次发送数据都需要 加入目标地址.
// 不过recvfrom和sendto 也可以用于 面向STREAM的连接, 这样可以省略发送和接收端的socket地址
ssize_t recvfrom ( int sockfd , void * buf , size_t len , int flags , struct sockaddr * src_addr , socklen_t * addrlen );
ssize_t sendto ( int sockfd , const void * buf , size_t len , ing flags , const struct sockaddr * dest_addr , socklen_t addrlen );
Funções gerais de leitura e gravação
#inclued <sys/socket.h>
ssize_t recvmsg ( int sockfd , struct msghdr * msg , int flags );
ssize_t sendmsg ( int sockfd , struct msghdr * msg , int flags );
struct msghdr
{
/* socket address --- 指向socket地址结构变量, 对于TCP连接需要设置为NULL*/
void * msg_name ;
socklen_t msg_namelen ;
/* 分散的内存块 --- 对于 recvmsg来说数据被读取后将存放在这里的块内存中, 内存的位置和长度由
* msg_iov指向的数组指定, 称为分散读(scatter read) ---对于sendmsg而言, msg_iovlen块的分散内存中
* 的数据将一并发送称为集中写(gather write);
*/
struct iovec * msg_iov ;
int msg_iovlen ; /* 分散内存块的数量*/
void * msg_control ; /* 指向辅助数据的起始位置*/
socklen_t msg_controllen ; /* 辅助数据的大小*/
int msg_flags ; /* 复制函数的flags参数, 并在调用过程中更新*/
};
struct iovec
{
void * iov_base /* 内存起始地址*/
size_t iov_len /* 这块内存长度*/
}
Outras APIs
#include <sys/socket.h>
// 用于判断 sockfd是否处于带外标记, 即下一个被读取到的数据是否是带外数据,
// 是的话返回1, 不是返回0
// 这样就可以选择带MSG_OOB标志的recv调用来接收带外数据.
int sockatmark ( int sockfd );
// getsockname 获取sockfd对应的本端socket地址, 存入address指定的内存中, 长度存入address_len中 成功返回0失败返回-1
// getpeername 获取远端的信息, 同上
int getsockname ( int sockfd , struct sockaddr * address , socklen_t * address_len );
int getpeername ( int sockfd , struct sockaddr * address , socklen_t * address_len );
/* 以下函数头文件均相同*/
// sockfd 目标socket, level执行操作协议(IPv4, IPv6, TCP) option_name 参数指定了选项的名字. 后面值和长度
// 成功时返回0 失败返回-1
int getsockopt ( int sockfd , int level , int option_name , void * option_value ,
socklen_t restrict option_len );
int setsockopt ( int sockfd , int level , int option_name , void * option_value ,
socklen_t restrict option_len );
SO_REUSEADDR | Reutilizar endereço local | Depois que um sock é definido com este atributo, mesmo que o sock esteja no estado TIME_WAIT após ser bind(), o endereço do soquete vinculado a ele ainda pode ser reutilizado imediatamente para vincular um novo sock. |
---|---|---|
SO_RCVBUF | Tamanho do buffer de recebimento TCP | O valor mínimo é 256 bytes. Após a configuração, o sistema dobrará automaticamente o valor definido. O dobro extra será usado como buffer livre para lidar com o congestionamento. |
SO_SNDBUF | Tamanho do buffer de envio TCP | O valor mínimo é 2.048 bytes |
SO_RCVLOWAT | Marca d'água baixa recebida | O padrão é 1 byte. Quando o número total de dados legíveis no buffer de recebimento TCP for maior que seu limite mínimo, a chamada do sistema de multiplexação IO notificará o aplicativo de que os dados podem ser lidos no soquete correspondente. |
SO_SNDLOWAT | marca d'água alta enviada | O padrão é 1 byte. Os dados podem ser gravados quando o espaço livre no buffer de envio TCP for maior que o limite mínimo. |
SO_LINGER |
struct linger
{
int l_onoff /* 开启非0, 关闭为0*/
int l_linger ; /* 滞留时间*/
/*
* 当onoff为0的时候此项不起作用, close调用默认行为关闭socket
* 当onoff不为0 且linger为0, close将立即返回, TCP将丢弃发送缓冲区的残留数据, 同时发送一个复位报文段
* 当onoff不为0 且linger大于0 . 当socket阻塞的时候close将会等待TCP模块发送完残留数据并得到确认后关
* 闭, 如果是处于非阻塞则立即关闭
*/
};
API de informações de rede
#include <netdb.h>
// 通过主机名查找ip
struct hostent * gethostbyname ( const char * name );
// 通过ip获取主机完整信息
// type为IP地址类型 AF_INET和AF_INET6
struct hostent * gethostbyaddr ( const void * addr , size_t len , int type );
struct hostent
{
char * h_name ; /* Official name of host. */
char * * h_aliases ; /* Alias list. */
int h_addrtype ; /* Host address type. */
int h_length ; /* Length of address. */
char * * h_addr_list ; /* List of addresses from name server. */
}
int main ( int argc , char * argv [])
{
if ( argc != 2 )
{
printf ( "非法输入n" );
exit ( 0 );
}
char * name = argv [ 1 ];
struct hostent * hostptr {};
hostptr = gethostbyname ( name );
if ( hostptr == nullptr )
{
printf ( "输入存在错误 或无法获取n" );
exit ( 0 );
}
printf ( "Official name of hostptr: %sn" , hostptr -> h_name );
char * * pptr ;
char inet_addr [ INET_ADDRSTRLEN ];
printf ( "Alias list:n" );
for ( pptr = hostptr -> h_aliases ; * pptr != nullptr ; ++ pptr )
{
printf ( "t%sn" , * pptr );
}
switch ( hostptr -> h_addrtype )
{
case AF_INET :
{
printf ( "List of addresses from name server:n" );
for ( pptr = hostptr -> h_addr_list ; * pptr != nullptr ; ++ pptr )
{
printf ( "t%sn" ,
inet_ntop ( hostptr -> h_addrtype , * pptr , inet_addr , sizeof ( inet_addr )));
}
break ;
}
default :
{
printf ( "unknow address typen" );
exit ( 0 );
}
}
return 0 ;
}
/*
./run baidu.com
Official name of hostptr: baidu.com
Alias list:
List of addresses from name server:
39.156.69.79
220.181.38.148
*/
As duas funções a seguir obtêm informações de serviço lendo o arquivo /etc/services. O conteúdo a seguir é da Wikipedia.
O arquivo de serviço é um arquivo de configuração no diretório etc dos sistemas operacionais modernos. Ele registra o número da porta e o protocolo correspondente ao nome do serviço de rede.
#include <netdb.h>
// 根据名称获取某个服务的完整信息
struct servent getservbyname ( const char * name , const char * proto );
// 根据端口号获取服务信息
struct servent getservbyport ( int port , const char * proto );
struct servent
{
char * s_name ; /* 服务名称*/
char * * s_aliases ; /* 服务的别名列表*/
int s_port ; /* 端口号*/
char * s_proto ; /* 服务类型, 通常为TCP或UDP*/
}
#include <netdb.h>
// 内部使用的gethostbyname 和 getserverbyname
// hostname 用于接收主机名, 也可以用来接收字符串表示的IP地址(点分十进制, 十六进制字符串)
// service 用于接收服务名, 字符串表示的十进制端口号
// hints参数 对getaddrinfo的输出进行更准确的控制, 可以设置为NULL, 允许反馈各种有用的结果
// result 指向一个链表, 用于存储getaddrinfo的反馈结果
int getaddrinfo ( const char * hostname , const char * service , const struct addrinfo * hints , struct addrinfo * * result )
struct addrinfo
{
int ai_flags ;
int ai_family ;
int ai_socktype ; /* 服务类型, SOCK_STREAM或者SOCK_DGRAM*/
int ai_protocol ;
socklen_t ai_addrlen ;
char * ai_canonname ; /* 主机的别名*/
struct sockaddr * ai_addr ; /* 指向socket地址*/
struct addrinfo * ai_next ; /* 指向下一个结构体*/
}
// 需要手动的释放堆内存
void freeaddrinfo ( struct addrinfo * res );
#include <netdb.h>
// host 存储返回的主机名
// serv存储返回的服务名
int getnameinfo ( const struct sockaddr * sockaddr , socklen_t addrlen , char * host , socklen_t hostlen , char * serv
socklen_t servlen , int flags );
Uso de teste
telnet ip port #来连接服务器的此端口
netstat -nt | grep port #来查看此端口的监听
As funções IO avançadas fornecidas pelo Linux são naturalmente mais poderosas sob condições específicas. Caso contrário, o que mais elas fariam? O descritor de arquivo é um número inteiro não negativo. É um valor de índice que aponta para a tabela de registros de arquivos abertos pelo processo mantida pelo kernel para cada processo. STDOUT_FILENO (valor 1) - O descritor de arquivo com valor 1 é a saída padrão. Após desligar STDOUT_FILENO, use dup para retornar o menor valor disponível (atualmente, 1). chamada de parâmetro dup.
função de tubo Esta função pode ser usada para criar um canal para implementar a comunicação entre processos.
// 函数定义
// 参数文件描述符数组 fd[0] 读出 fd[1]写入 单向管道
// 成功返回0, 并将一对打开的文件描述符填入其参数指向的数组
// 失败返回-1 errno
#include <unistd.h>
int pipe ( int fd [ 2 ]);
// 双向管道
// 第一个参数为 协议PF_UNIX(书上是AF_UNIX)感觉这里指明协议使用PF更好一些
#include <sys/types.h>
#include <sys/socket.h>
int socketpair ( int domain , int type , int protocol , int fd [ 2 ]);
Depois de estudar o conteúdo a seguir e compreender a comunicação entre processos, voltarei e adicionarei um exemplo.
int main ()
{
int fds [ 2 ];
socketpair ( PF_UNIX , SOCK_STREAM , 0 , fds );
int pid = fork ();
if ( pid == 0 )
{
close ( fds [ 0 ]);
char a [] = "123" ;
send ( fds [ 1 ], a , strlen ( a ), 0 );
}
else if ( pid > 0 )
{
close ( fds [ 1 ]);
char b [ 20 ] {};
recv ( fds [ 0 ], b , 20 , 0 );
printf ( "%s" , b );
}
}
funções dup e dup2 Copie um descritor de arquivo existente
#include <unistd.h>
// 返回的文件描述符总是取系统当前可用的最小整数值
int dup ( int oldfd );
// 可以用newfd来制定新的文件描述符, 如果newfd已经被打开则先关闭
// 如果newfd==oldfd 则不关闭newfd直接返回
int dup2 ( int oldfd , int newfd );
A função dup cria um novo descritor de arquivo O novo descritor de arquivo e o file_descriptor original apontam para o mesmo destino. Volte e adicione um exemplo, como STDOUT_FILENO
está desativado, o menor dup é STDOUT_FILENO
, portanto, o padrão. a saída vai para isso no arquivo
int main ()
{
int filefd = open ( "/home/lsmg/1.txt" , O_WRONLY );
close ( STDOUT_FILENO );
dup ( filefd );
printf ( "123n" );
exit ( 0 );
}
ler/escreverv
#include <sys/uio.h>
// count 为 vector的长度, 即为有多少块内存
// 成功时返回写入读取的长度 失败返回-1
ssize_t readv ( int fd , const struct iovec * vector , int count );
ssize_t writev ( int fd , const struct iovec * vector , int count );
struct iovec {
void * iov_base /* 内存起始地址*/
size_t iov_len /* 这块内存长度*/
}
Volte e adicione um exemplo de uso. Este exemplo grava a representação de memória de um int em um arquivo Use hexdump para visualizar o arquivo 0000000 86a0 0001
Você pode ver 186a0
é 100000.
// 2020年1月7日16:52:11
int main ()
{
int file = open ( "/home/lsmg/1.txt" , O_WRONLY );
int temp = 100000 ;
iovec temp_iovec {};
temp_iovec . iov_base = & temp ;
temp_iovec . iov_len = sizeof ( temp );
writev ( file , & temp_iovec , 1 );
}
função enviar arquivo
#include <sys/sendfile.h>
// offset为指定输入流从哪里开始读, 如果为NULL 则从开头读取
ssize_t sendfile ( int out_fd , int in_fd , off_t * offset , size_t count );
O_RDONLY只读模式
O_WRONLY只写模式
O_RDWR读写模式
int open ( file_name , flag );
A estrutura stat pode ser gerada com fstat, que é simplesmente o cartão de identificação do arquivo.
#include <sys/stat.h>
struct stat
{
dev_t st_dev ; /* ID of device containing file -文件所在设备的ID*/
ino_t st_ino ; /* inode number -inode节点号*/
mode_t st_mode ; /* protection -保护模式?*/
nlink_t st_nlink ; /* number of hard links -链向此文件的连接数(硬连接)*/
uid_t st_uid ; /* user ID of owner -user id*/
gid_t st_gid ; /* group ID of owner - group id*/
dev_t st_rdev ; /* device ID (if special file) -设备号,针对设备文件*/
off_t st_size ; /* total size, in bytes -文件大小,字节为单位*/
blksize_t st_blksize ; /* blocksize for filesystem I/O -系统块的大小*/
blkcnt_t st_blocks ; /* number of blocks allocated -文件所占块数*/
time_t st_atime ; /* time of last access -最近存取时间*/
time_t st_mtime ; /* time of last modification -最近修改时间*/
time_t st_ctime ; /* time of last status change - */
};
Função de geração de cartão de identificação
// 第一个参数需要调用open生成文件描述符
// 下面其他两个为文件全路径
int fstat ( int filedes , struct stat * buf );
// 当路径指向为符号链接的时候, lstat为符号链接的信息. stat为符号链接指向文件信息
int stat ( const char * path , struct stat * buf );
int lstat ( const char * path , struct stat * buf );
/*
* ln -s source dist 建立软连接, 类似快捷方式, 也叫符号链接
* ln source dist 建立硬链接, 同一个文件使用多个不同的别名, 指向同一个文件数据块, 只要硬链接不被完全
* 删除就可以正常访问
* 文件数据块 - 文件的真正数据是一个文件数据块, 打开的`文件`指向这个数据块, 就是说
* `文件`本身就类似快捷方式, 指向文件存在的区域.
*/
Funções mmap e munmap
mmap
cria uma memória compartilhada pela comunicação do processo (arquivos podem ser mapeados nele) munmap
libera essa memória.
#include <sys/mman.h>
// start 内存起始位置, 如果为NULL则系统分配一个地址 length为长度
// port参数 PROT_READ(可读) PROT_WRITE(可写) PROT_EXEC(可执行), PROT_NONE(不可访问)
// flag参数 内存被修改后的行为
// - MAP_SHARED 进程间共享内存, 对内存的修改反映到映射文件中
// - MAP_PRIVATE 为调用进程私有, 对该内存段的修改不会反映到文件中
// - MAP_ANONUMOUS 不是从文件映射而来, 内容被初始化为0, 最后两个参数被忽略
// 成功返回区域指针, 失败返回 -1
void * mmap ( void * start , size_t length , int port , int flags , int fd , off_t offset );
// 成功返回0 失败返回-1
int munmap ( void * start , size_t length );
função de emenda Usado para mover dados entre dois descritores de nome de arquivo, operação de cópia 0
#include <fcntl.h>
// fd_in 为文件描述符, 如果为管道文件描述符则 off_in必须为NULL, 否则为读取开始偏移位置
// len为指定移动的数据长度, flags参数控制数据如何移动.
// - SPLICE_F_NONBLOCK 非阻塞splice操作, 但会受文件描述符自身的阻塞
// - SPLICE_F_MORE 给内核一个提示, 后续的splice调用将读取更多的数据???????
ssize_t splice ( int fd_in , loff_t * off_in , int fd_out , loff_t * off_out , size_t len , unsigned int flags );
// 使用splice函数 实现echo服务器
int main ( int argc , char * argv [])
{
if ( argc <= 2 )
{
printf ( "the parmerters is wrongn" );
exit ( errno );
}
char * ip = argv [ 1 ];
int port = atoi ( argv [ 2 ]);
printf ( "the port is %d the ip is %sn" , port , ip );
int sockfd = socket ( PF_INET , SOCK_STREAM , 0 );
assert ( sockfd >= 0 );
struct sockaddr_in address {};
address . sin_family = AF_INET ;
address . sin_port = htons ( port );
inet_pton ( AF_INET , ip , & address . sin_addr );
int ret = bind ( sockfd , ( sockaddr * ) & address , sizeof ( address ));
assert ( ret != -1 );
ret = listen ( sockfd , 5 );
int clientfd {};
sockaddr_in client_address {};
socklen_t client_addrlen = sizeof ( client_address );
clientfd = accept ( sockfd , ( sockaddr * ) & client_address , & client_addrlen );
if ( clientfd < 0 )
{
printf ( "accept errorn" );
}
else
{
printf ( "a new connection from %s:%d successn" , inet_ntoa ( client_address . sin_addr ), ntohs ( client_address . sin_port ));
int fds [ 2 ];
pipe ( fds );
ret = splice ( clientfd , nullptr , fds [ 1 ], nullptr , 32768 , SPLICE_F_MORE );
assert ( ret != -1 );
ret = splice ( fds [ 0 ], nullptr , clientfd , nullptr , 32768 , SPLICE_F_MORE );
assert ( ret != -1 );
close ( clientfd );
}
close ( sockfd );
exit ( 0 );
}
função select A função select retorna quando a segunda lista de parâmetros está legível ou aguarda o retorno do tempo especificado.
Após o retorno, a coleção apontada pelo segundo parâmetro fdset é modificada em uma lista fd legível. Isso requer a atualização da coleção fdset após cada retorno.
Após retornar, o valor de retorno desta função é o número de fds legíveis. Ela percorre a coleção fdset e usa FD_ISSET para determinar se fdset[i] está nela e então determina se o fd é listenfd. Caso contrário, significa que foi aceito por outros fd determina se há dados para ler ou a conexão está desconectada.
#include <fcntl.h>
// maxfdp 最大数 FD_SETSIZE
// struct fd_set 一个集合,可以存储多个文件描述符
// - FD_ZERO(&fd_set) 清空 -FD_SET(fd, &fd_set) 放入fd FD_CLR(fd, &fd_set)从其中清除fd
// - FD_ISSET(fd, &fd_set) 判断是否在其中
// readfds 需要监视的文件描述符读变化, 其中的文件描述符可读的时候返回
// writefds 需要监视的文件描述符写变化, 其中的文件描述符可写的时候返回
// errorfds 错误
// timeout 传入NULL为阻塞, 设置为0秒0微秒则变为非阻塞函数
// 返回值 负值为错误 等待超时说明文件无变化返回0 有变化返回正值
int select ( int maxfdp , fd_set * readfds , fd_set * writefds , fd_set * errorfds , struct timeval * timeout );
#define exit_if ( r , ...)
{
if (r)
{
printf(__VA_ARGS__);
printf("errno no: %d, error msg is %s", errno, strerror(errno));
exit(1);
}
}
int main ( int argc , char * argv [])
{
int keyboard_fd = open ( "/dev/tty" , O_RDONLY | O_NONBLOCK );
exit_if ( keyboard_fd < 0 , "open keyboard fd errorn" );
fd_set readfd ;
char recv_buffer = 0 ;
while (true)
{
FD_ZERO ( & readfd );
FD_SET ( 0 , & readfd );
timeval timeout { 5 , 0 };
int ret = select ( keyboard_fd + 1 , & readfd , nullptr , nullptr , & timeout );
exit_if ( ret == -1 , "select errorn" );
if ( ret > 0 )
{
if ( FD_ISSET ( keyboard_fd , & readfd ))
{
recv_buffer = 0 ;
read ( keyboard_fd , & recv_buffer , 1 );
if ( 'n' == recv_buffer )
{
continue ;
}
if ( 'q' == recv_buffer )
{
break ;
}
printf ( "the input is %cn" , recv_buffer );
}
}
if ( ret == 0 )
{
printf ( "timeoutn" );
}
}
}
sudo service rsyslog restart // 启动守护进程
#include <syslog.h>
// priority参数是所谓的设施值(记录日志信息来源, 默认为LOG_USER)与日志级别的按位或
// - 0 LOG_EMERG /* 系统不可用*/
// - 1 LOG_ALERT /* 报警需要立即采取行动*/
// - 2 LOG_CRIT /* 非常严重的情况*/
// - 3 LOG_ERR /* 错误*/
// - 4 LOG_WARNING /* 警告*/
// - 5 LOG_NOTICE /* 通知*/
// - 6 LOG_INFO /* 信息*/
// -7 LOG_DEBUG /* 调试*/
void syslog ( int priority , const char * message , .....);
// ident 位于日志的时间后 通常为名字
// logopt 对后续 syslog调用的行为进行配置
// - 0x01 LOG_PID /* 在日志信息中包含程序PID*/
// - 0x02 LOG_CONS /* 如果信息不能记录到日志文件, 则打印到终端*/
// - 0x04 LOG_ODELAY /* 延迟打开日志功能直到第一次调用syslog*/
// - 0x08 LOG_NDELAY /* 不延迟打开日志功能*/
// facility参数可以修改syslog函数中的默认设施值
void openlog ( const char * ident , int logopt , int facility );
// maskpri 一共八位 0000-0000
// 如果将最后一个0置为1 表示 记录0级别的日志
// 如果将最后两个0都置为1 表示记录0和1级别的日志
// 可以通过LOG_MASK() 宏设定 比如LOG_MASK(LOG_CRIT) 表示将倒数第三个0置为1, 表示只记录LOG_CRIT
// 如果直接设置setlogmask(3); 3的二进制最后两个数均为1 则记录 0和1级别的日志
int setlogmask ( int maskpri );
// 关闭日志功能
void closelog ();
UID - ID de usuário real EUID - ID de usuário efetivo - facilita o acesso a recursos GID - ID de grupo real EGID - ID de grupo efetivo
#include <sys/types.h>
#include <unistd.h>
uid_t getuid ();
uid_t geteuid ();
gid_t getgid ();
gid_t getegid ();
int setuid ( uid_t uid );
int seteuid ( uid_t euid );
int setgid ( gid_t gid );
int setegid ( gid_t gid );
Você pode trocar de usuário por meio setuid
e setgid
O usuário root uid e gid são ambos 0.
PGID - ID do grupo de processos (cada processo no Linux pertence a um grupo de processos)
#include <unistd.h> pid_t getpgid(pid_t pid); Retorna o pgid ao qual o pid pertence em caso de sucesso. Retorna -1 em caso de falha int setpgid(pid_t pid, pid_t pgid);
sessão Alguns grupos de processos associados formarão um salto de sessão
Verifique o relacionamento do processo ps e menos
Limites de recursos Mude ligeiramente o diretório um pouco
Modelo de servidor-modelo CS
vantagem
Diagrama de padrão
A demonstração escrita não usa a função fork. Ela será melhorada no futuro.
Modelo IO da estrutura do servidor
Provavelmente consigo entender esse modelo e estudei Javaweb por meio ano.
O soquete está bloqueado por padrão quando é criado, mas pode ser resolvido passando SOCK_NONBLOCK
As chamadas sem bloqueio retornarão imediatamente, mas o evento pode não ter ocorrido (recv não recebeu a informação). ocorrer ou ocorrer um erro,返回-1
portanto, precisa ser distinguido por errno
Esses erros não ocorreram aceitar, enviar, recv errno está definido como EAGAIN(再来一次)
ou EWOULDBLOCK(期望阻塞)
conectar. está definido como EINPROGRESS(正在处理中)
O IO sem bloqueio precisa ser chamado quando o evento já ocorreu para melhorar o desempenho.
A função de multiplexação IO comumente usada, select
poll
epoll_wait
será explicada posteriormente no Capítulo 9. O sinal será explicado no Capítulo 10.
Dois modos eficientes de processamento de eventos e modo de simultaneidade
Os programas são divididos em intensivos em computação (usando muita CPU e poucos recursos de IO) e intensivos em IO (inversamente). O primeiro reduzirá a eficiência ao usar a programação simultânea, enquanto o último melhorará a eficiência. e multi-threading.
Modo de simultaneidade - um método de coordenação de tarefas entre unidades IO e múltiplas unidades lógicas. O servidor possui dois modos de simultaneidade principais.
Modo semissíncrono/semi-assíncrono No modelo IO, a diferença entre assíncrono e síncrono é que tipo de evento IO o kernel notifica o aplicativo (evento de prontidão ou evento de conclusão) e quem completa a leitura e gravação de IO (aplicativo ou kernel)
E aqui a sincronização (modo de simultaneidade) refere-se à execução completamente na ordem da sequência de código - threads executados de maneira síncrona são chamados de threads síncronos e precisam ser acionados por eventos do sistema (interrupções, sinais) - threads executados de maneira assíncrona. são chamados de thread assíncrono
Servidor (requer bom desempenho em tempo real e pode lidar com várias solicitações de clientes ao mesmo tempo) - geralmente implementado usando threads síncronos e threads assíncronos, ou seja, modo semissíncrono/semi-assíncrono Threads síncronos - processam a lógica do cliente e processam objetos em a fila de solicitações de forma assíncrona Thread - lida com eventos de IO, após receber as solicitações do cliente, encapsula-os em objetos de solicitação e os insere na fila de solicitações
Existem variações do padrão Semi-Sync/Semi-Async半同步/半反应堆模式
Thread assíncrona - thread principal - responsável por monitorar eventos em todos os soquetes
modelo líder/seguidor um pouco
Método de programação eficiente - máquina de estados finitos
// 状态独立的有限状态机
STATE_MACHINE ( Package _pack ) {
PackageType _type = _pack . GetType ();
switch ( _type ) {
case type_A :
xxxx ;
break ;
case type_B :
xxxx ;
break ;
}
}
// 带状态转移的有限状态机
STATE_MACHINE () {
State cur_State = type_A ;
while ( cur_State != type_C ) {
Package _pack = getNewPackage ();
switch ( cur_State ) {
case type_A :
process_package_state_A ( _pack );
cur_State = type_B ;
break ;
case type_B :
xxxx ;
cur_State = type_C ;
break ;
}
}
}
Levei uma hora para finalmente copiar o código de 5.000 palavras, letra por letra @8 de setembro de 2019 22:08:46@
Pools - Troque espaço por pools de processos de tempo e pools de threads
Replicação de dados – Servidores de alto desempenho devem tentar evitar replicação desnecessária
Mudanças e bloqueios de contexto Reduza o escopo dos锁
. Você não deve criar muitos processos de trabalho, mas usar threads de lógica de negócios dedicados.
A multiplexação de E/S permite que programas monitorem vários descritores de arquivos ao mesmo tempo.
Métodos comumente usados select
, poll
, epoll
# include < sys/select.h >
// nfds - 被监听的文件描述符总数
// 后面三个分别指向 可读, 可写, 异常等事件对应的文件描述符集合
// timeval select超时时间 如果传递0 则为非阻塞, 设置为NULL则为阻塞
// 成功返回就绪(可读, 可写, 异常)文件描述符的总数, 没有则返回0 失败返回-1
int select ( int nfds, fd_set * readfds, fd_set * writefds, fd_set * exceptfds, struct timeval * timeout);
//操作fd_set的宏
FD_ZERO ( fd_set * fdset);
FD_SET ( int fd, fd_set * fdset);
FD_CLR ( int fd, fd_set * fdset);
FD_ISSET ( int fd, fd_set * fdset);
// 设置 timeval 超时时间
struct timeval
{
long tv_sec; // 秒
long tv_usec; // 微秒
}
selecione
condição de prontidão do descritor de arquivo
enquete
# include < poll.h >
// fds 结构体类型数组 指定我们感兴趣的文件描述符上发生的可读可写和异常事件
// nfds 遍历结合大小 左闭右开
// timeout 单位为毫秒 -1 为阻塞 0 为立即返回
int poll ( struct pollfd * fds, nfds_t nfds, int timeout);
struct pollfd
{
int fd;
short events; //注册的事件, 告知poll监听fd上的哪些事件
short revents; // 实际发生的事件
}
# define exit_if (r, ...)
{
if (r)
{
printf (__VA_ARGS__);
printf ( " errno no: %d, error msg is %s " , errno, strerror (errno));
exit ( 1 );
}
}
struct client_info
{
char *ip_;
int port_;
};
int main ( int argc, char * argv[])
{
int port = 8001 ;
char ip[] = " 127.0.0.1 " ;
struct sockaddr_in address;
address. sin_port = htons (port);
address. sin_family = AF_INET;
address. sin_addr . s_addr = htons (INADDR_ANY);
int listenfd = socket (PF_INET, SOCK_STREAM, 0 );
exit_if (listenfd < 0 , " socket error n " );
int ret = bind (listenfd, ( struct sockaddr *)&address, sizeof (address));
exit_if (ret == - 1 , " bind error n " );
ret = listen (listenfd, 5 );
exit_if (ret == - 1 , " listen error n " );
constexpr int MAX_CLIENTS = 1024 ;
struct pollfd polls[MAX_CLIENTS] = {};
struct client_info clientsinfo[MAX_CLIENTS] = {};
polls[ 3 ]. fd = listenfd;
polls[ 3 ]. events = POLLIN | POLLRDHUP;
while ( true )
{
ret = poll (polls, MAX_CLIENTS + 1 , - 1 );
exit_if (ret == - 1 , " poll error n " );
for ( int i = 3 ; i <= MAX_CLIENTS; ++i)
{
int fd = polls[i]. fd ;
if (polls[i]. revents & POLLRDHUP)
{
polls[i]. events = 0 ;
printf ( " close fd-%d from %s:%d n " , fd, clientsinfo[fd]. ip_ , clientsinfo[fd]. port_ );
}
if (polls[i]. revents & POLLIN)
{
if (fd == listenfd)
{
struct sockaddr_in client_address;
socklen_t client_addresslen = sizeof (client_address);
int clientfd = accept (listenfd, ( struct sockaddr *)&client_address,
&client_addresslen);
struct client_info *clientinfo = &clientsinfo[clientfd];
clientinfo-> ip_ = inet_ntoa (client_address. sin_addr );
clientinfo-> port_ = ntohs (client_address. sin_port );
exit_if (clientfd < 0 , " accpet error, from %s:%d n " , clientinfo-> ip_ ,
clientinfo-> port_ );
printf ( " accept from %s:%d n " , clientinfo-> ip_ , clientinfo-> port_ );
polls[clientfd]. fd = clientfd;
polls[clientfd]. events = POLLIN | POLLRDHUP;
}
else
{
char buffer[ 1024 ];
memset (buffer, '