nfstream
v6.5.3
NFStream 은 온라인 또는 오프라인 네트워크 데이터 작업을 쉽고 직관적으로 만들 수 있도록 설계된 빠르고 유연하며 표현력이 풍부한 데이터 구조를 제공하는 다중 플랫폼 Python 프레임워크입니다. 실용적이고 실제적인 네트워크 흐름 데이터 분석을 수행하기 위한 Python의 기본적이고 높은 수준의 빌딩 블록이 되는 것을 목표로 합니다. 또한 실험 전반에 걸쳐 데이터 재현성을 제공하는 연구자를 위한 통합 네트워크 데이터 분석 프레임워크가 되겠다는 더 넓은 목표를 가지고 있습니다.
| 라이브 노트북 | |
| 프로젝트 웹사이트 | |
| 토론 채널 | |
| 최신 릴리스 | |
| 지원되는 버전 | |
| 프로젝트 라이센스 | |
| 지속적인 통합 | |
| 코드 품질 |
주요 특징
그것을 얻는 방법?
그것을 사용하는 방법?
모델 훈련
실시간 트래픽에 대한 ML 기반 스트리머
암호화된 애플리케이션 식별 및 메타데이터 추출
시스템 가시성
사후 통계 흐름 특징 추출
초기 통계 흐름 특징 추출
Pandas 내보내기 인터페이스
CSV 내보내기 인터페이스
NFStream 확장
기계 학습 모델 교육 및 배포
소스에서 빌드
기여
윤리학
크레딧
소환
저자
지원단체
NFStream을 사용하는 출판물
특허
성능: NFStream은 Linux의 AF_PACKET_V3/FANOUT , 다중 처리, 기본 CFFI 기반 계산 엔진 및 PyPy 전체 지원을 통해 빠르게 설계되었습니다.
암호화된 레이어 7 가시성: NFStream 심층 패킷 검사는 nDPI를 기반으로 합니다. 이를 통해 NFStream은 신뢰할 수 있는 암호화된 애플리케이션 식별 및 메타데이터 지문 인식(예: TLS, SSH, DHCP, HTTP)을 수행할 수 있습니다.
시스템 가시성: NFStream은 모니터링되는 시스템의 커널을 조사하여 개방형 인터넷 소켓에 대한 정보를 얻고 애플리케이션 수준에서 보장된 실제 정보(프로세스 이름, PID 등)를 수집합니다.
통계적 특징 추출: NFStream은 흐름 기반 통계 특징 추출의 최첨단 기술을 제공합니다. 여기에는 사후 통계 기능(예: 최소값, 평균, 표준 편차, 최대 패킷 크기 및 도착 간 시간)과 초기 흐름 기능(예: 처음 n개 패킷 크기의 순서, 도착 간 시간 및 방향)이 포함됩니다.
유연성: NFStream은 NFPlugins를 사용하여 쉽게 확장 가능합니다. 이를 통해 Python의 몇 줄 내에서 새로운 흐름 기능을 생성할 수 있습니다.
기계 학습 지향: NFStream은 네트워크 트래픽 관리를 위한 기계 학습 접근 방식을 재현 가능하고 배포 가능하게 만드는 것을 목표로 합니다. NFStream을 공통 프레임워크로 사용함으로써 연구자들은 모델이 동일한 특징 계산 로직을 사용하여 훈련되도록 보장하고 이에 따라 공정한 비교가 가능합니다. 또한 훈련된 모델은 NFPlugin을 사용하여 라이브 네트워크에 배포하고 평가할 수 있습니다.
최신 릴리스 버전의 바이너리 설치 프로그램은 Pypi에서 사용할 수 있습니다.
pip 설치 nfstream
Windows 참고 사항 : NFStream에는 Windows용 캡처 드라이버가 포함되어 있지 않습니다(라이센스 제한). NFStream을 설치하기 전에 Npcap 드라이버를 설치해야 합니다. Wireshark가 Windows에 이미 설치되어 있는 경우 Npcap 드라이버가 이미 설치되어 있으므로 추가 작업을 수행할 필요가 없습니다.
큰 pcap 파일을 처리하고 레이블이 지정된 네트워크 흐름으로 집계하고 싶습니까? NFStream을 사용하면 몇 줄로 이 경로를 더 쉽게 만들 수 있습니다.
from nfstream import NFStreamer# 모든 스트리머 매개변수를 기본값과 함께 표시합니다.# 각 매개변수에 대한 자세한 내용은 설명서를 참조하세요.# https://www.nfstream.org/docs/api#nfstreamermy_streamer = NFStreamer(source="facebook.pcap ", # 또는 라이브 네트워크 인터페이스 decode_tunnels=True, bpf_filter=None, promiscuous_mode=True, snapshot_length=1536, 유휴_시간 초과=120, 활성_시간 초과=1800, 회계_모드=0, udps=없음, n_dissections=20, 통계_분석=거짓, splt_analytic=0, n_meters=0, max_nflows=0, 성능_report=0, system_visibility_mode=0, system_visibility_poll_ms=100)
for flow in my_streamer:print(flow) # 인쇄합니다.# 각 기능에 대한 자세한 설명은 문서를 참조하세요.# https://www.nfstream.org/docs/api#nflowNFlow(id=0,expiration_id=0, src_ip='192.168.43.18', src_mac='30:52:cb :6c:9c:1b', src_oui='30:52:cb', src_port=52066, dst_ip='66.220.156.68', dst_mac='98:0c:82:d3:3c:7c', dst_oui='98:0c:82', dst_port=443, 프로토콜=6, ip_version=4, vlan_id=0, 터널_id=0, bidirection_first_seen_ms=1472393122365, bidirection_last_seen_ms=1472393123665, bidirection_duration_ms=1300, bidirection_packets=19, bidirection_bytes=5745, src2dst_first_seen_ms=1472393122365, src2dst_last_seen_ms=1472393123408, src2dst_duration_ms=1043, src2dst_packets=9, src2dst_bytes=1345, dst2src_first_seen_ms=1472393122668, dst2src_last_seen_ms=1472393123665, dst2src_duration_ms=997, dst2src_packets=10, dst2src_bytes=4400, application_name='TLS.Facebook', application_category_name='SocialNetwork', application_is_guessed=0, application_confidence=4, request_server_name='facebook.com', client_fingerprint='bfcc1a3891601edb4f137ab7ab25b840', server_fingerprint='2d1eb5817ece335c24904f516ad5da12', user_agent='', content_type='')
NFStream은 모니터링되는 시스템의 커널을 조사하여 개방형 인터넷 소켓에 대한 정보를 얻고 애플리케이션 수준에서 보장된 실제 정보(프로세스 이름, PID 등)를 수집합니다.
from nfstream import NFStreamermy_streamer = NFStreamer(source="Intel(R) Wi-Fi 6 AX200 160MHz", # 라이브 캡처 모드. # 가독성 목적으로만 L7 해부를 비활성화합니다. n_dissections=0, system_visibility_poll_ms=100, system_visibility_mode=1)
for flow in my_streamer:print(flow) # 인쇄합니다.# 각 기능에 대한 자세한 설명은 문서를 참조하세요.# https://www.nfstream.org/docs/api#nflowNFlow(id=0,expiration_id=0, src_ip='192.168.43.18', src_mac='30:52:cb :6c:9c:1b', src_oui='30:52:cb', src_port=59339, dst_ip='184.73.244.37', dst_mac='98:0c:82:d3:3c:7c', dst_oui='98:0c:82', dst_port=443, 프로토콜=6, ip_version=4, vlan_id=0, 터널_id=0, bidirection_first_seen_ms=1638966705265, bidirection_last_seen_ms=1638966706999, bidirection_duration_ms=1734, bidirection_packets=98, bidirection_bytes=424464, src2dst_first_seen_ms=1638966705265, src2dst_last_seen_ms=1638966706999, src2dst_duration_ms=1734, src2dst_packets=22, src2dst_bytes=2478, dst2src_first_seen_ms=1638966705345, dst2src_last_seen_ms=1638966706999, dst2src_duration_ms=1654, dst2src_packets=76, dst2src_bytes=421986, # 이 보고된 흐름을 생성한 프로세스 system_process_pid=14596, system_process_name='FortniteClient-Win64-Shipping.exe')
NFStream은 세부적인 TCP 플래그 분석, 패킷 크기 및 각 방향의 도착 간 시간에 대한 최소, 평균, 최대 및 표준 편차를 포함하는 48개의 사후 흐름 통계 기능 추출을 수행합니다.
from nfstream import NFStreamermy_streamer = NFStreamer(source="facebook.pcap", # 가독성을 위해 L7 해부를 비활성화합니다. n_dissections=0,
my_streamer:print(flow)의 흐름에 대한 통계_분석=True)# 각 기능에 대한 자세한 설명은 문서를 참조하세요.# https://www.nfstream.org/docs/api#nflowNFlow(id=0,expiration_id=0, src_ip='192.168.43.18', src_mac='30:52:cb :6c:9c:1b', src_oui='30:52:cb', src_port=52066, dst_ip='66.220.156.68', dst_mac='98:0c:82:d3:3c:7c', dst_oui='98:0c:82', dst_port=443, 프로토콜=6, ip_version=4, vlan_id=0, 터널_id=0, bidirection_first_seen_ms=1472393122365, bidirection_last_seen_ms=1472393123665, bidirection_duration_ms=1300, bidirection_packets=19, bidirection_bytes=5745, src2dst_first_seen_ms=1472393122365, src2dst_last_seen_ms=1472393123408, src2dst_duration_ms=1043, src2dst_packets=9, src2dst_bytes=1345, dst2src_first_seen_ms=1472393122668, dst2src_last_seen_ms=1472393123665, dst2src_duration_ms=997, dst2src_packets=10, dst2src_bytes=4400, bidirection_min_ps=66, bidirection_mean_ps=302.36842105263156, 양방향_stddev_ps=425.53315715259754, 양방향_max_ps=1454, src2dst_min_ps=66, src2dst_mean_ps=149.44444444444446, src2dst_stddev_ps=132.20354676701294, src2dst_max_ps=449, dst2src_min_ps=66, dst2src_mean_ps=440.0, dst2src_stddev_ps=549.7164925870628, dst2src_max_ps=1454, bidirection_min_piat_ms=0, bidirection_mean_piat_ms=72.22222222222223, bidirection_stddev_piat_ms=137.34994188549086, bidirection_max_piat_ms=398, src2dst_min_piat_ms=0, src2dst_mean_piat_ms=130.375, src2dst_stddev_piat_ms=179.72036811192467, src2dst_max_piat_ms=415, dst2src_min_piat_ms=0, dst2src_mean_piat_ms=110.77777777777777, dst2src_stddev_piat_ms=169.51458475436397, dst2src_max_piat_ms=409, bidirection_syn_packets=2, bidirection_cwr_packets=0, bidirection_ece_packets=0, bidirection_urg_packets=0, bidirection_ack_packets=18, bidirection_psh_packets=9, 양방향_rst_packets=0, 양방향_fin_packets=0, src2dst_syn_packets=1, src2dst_cwr_packets=0, src2dst_ece_packets=0, src2dst_urg_packets=0, src2dst_ack_packets=8, src2dst_psh_packets=4, src2dst_rst_packets=0, src2dst_fin_packets=0, dst2src_syn_packets=1, dst2src_cwr_packets=0, dst2src_ece_packets=0, dst2src_urg_packets=0, dst2src_ack_packets=10, dst2src_psh_packets=5, dst2src_rst_packets=0, dst2src_fin_packets=0)
NFStream은 초기(최대 255개 패킷) 흐름 통계 특징 추출을 수행합니다(문헌에서는 SPLT 분석이라고 함). 이는 이러한 패킷의 방향, 크기 및 도착 간 시간의 순서로 요약됩니다.
from nfstream import NFStreamermy_streamer = NFStreamer(source="facebook.pcap", # 가독성을 위해 l7 해부를 비활성화합니다. n_dissections=0, splt_analytic=10)for flow in my_streamer:print(flow)
# 각 기능에 대한 자세한 설명은 문서를 참조하세요.# https://www.nfstream.org/docs/api#nflowNFlow(id=0,expiration_id=0, src_ip='192.168.43.18', src_mac='30:52:cb :6c:9c:1b', src_oui='30:52:cb', src_port=52066, dst_ip='66.220.156.68', dst_mac='98:0c:82:d3:3c:7c', dst_oui='98:0c:82', dst_port=443, 프로토콜=6, ip_version=4, vlan_id=0, 터널_id=0, bidirection_first_seen_ms=1472393122365, bidirection_last_seen_ms=1472393123665, bidirection_duration_ms=1300, bidirection_packets=19, bidirect_bytes=5745, src2dst_first_seen_ms=1472393122365, src2dst_last_seen_ms=1472393123408, src2dst_duration_ms=1043, src2dst_packets=9, src2dst_bytes=1345, dst2src_first_seen_ms=1472393122668, dst2src_last_seen_ms=1472393123665, dst2src_duration_ms=997, dst2src_packets=10, dst2src_bytes=4400, # 10개의 첫 번째 패킷 방향, 크기 및 중간 도착 시간의 순서입니다. splt_direction=[0, 1, 0, 0, 1, 1, 0, 1, 0, 1], splt_ps=[74, 74, 66, 262, 66, 1454, 66, 1454, 66, 463], splt_piat_ms= [0, 303, 0, 0, 313, 0, 0, 0, 0, 1])
NFStream은 기본적으로 Pandas를 내보내기 인터페이스로 지원합니다.
# 자세한 내용은 문서를 참조하세요.# https://www.nfstream.org/docs/api#pandas-dataframe-conversionfrom nfstream import NFStreamermy_dataframe = NFStreamer(source='teams.pcap').to_pandas()[["src_ip" ,"src_port","dst_ip", "dst_port", "프로토콜","양방향_패킷","양방향_바이트","application_name"]]my_dataframe.head(5)
NFStream은 기본적으로 내보내기 인터페이스로 CSV 파일 형식을 지원합니다.
# 자세한 내용은 문서를 참조하세요.# https://www.nfstream.org/docs/api#csv-file-conversionflows_count = NFStreamer(source='facebook.pcap').to_csv(path=None,columns_to_anonymize=(), flow_per_file=0,rotate_files=0)
특정 흐름 기능을 찾지 못하셨나요? 몇 줄로 NFStream 에 플러그인을 추가하세요.
from nfstream import NFPluginclass MyCustomPktSizeFeature(NFPlugin):def on_init(self, packet, flow):# 첫 번째 패킷으로 흐름 생성if packet.raw_size == self.custom_size:flow.udps.packet_with_custom_size = 1else:flow.udps.packet_with_custom_size = 0
def on_update(self, packet, flow):# 흐름에 속하는 각 패킷으로 흐름 업데이트 if packet.raw_size == self.custom_size:flow.udps.packet_with_custom_size += 1extended_streamer = NFStreamer(source='facebook.pcap',
udps=MyCustomPktSizeFeature(custom_size=555))extended_streamer의 흐름에 대해:# 생성된 흐름에서 동적으로 생성된 측정항목을 확인하세요.print(flow.udps.packet_with_custom_size)다음의 간단한 예는 트래픽 흐름 분류를 위한 기계 학습 접근 방식을 교육하고 배포하는 방법을 보여줍니다. 우리는 양방향_패킷 및 양방향_바이트를 입력 기능으로 기반으로 소셜 네트워크 카테고리 흐름의 분류를 실행하려고 합니다. 간결함을 위해 흐름 만료 단계에서만 예측하기로 결정했습니다.
from nfstream import NFPlugin, NFStreamerimport numpyfrom sklearn.ensemble import RandomForestClassifierdf = NFStreamer(source="training_traffic.pcap").to_pandas()X = df[["bidirection_packets", "bidirection_bytes"]]y = df["application_category_name"]. 적용(람다 x: 1인 경우 x의 'SocialNetwork' else 0)model = RandomForestClassifier()model.fit(X, y)
class ModelPrediction(NFPlugin):def on_init(self, packet, flow):flow.udps.model_prediction = 0def on_expire(self, flow):# on_update 진입점에서 동일한 작업을 수행하고 사용자 정의 ID를 사용하여 강제 만료할 수 있습니다. to_predict = numpy.array([flow.bidirection_packets, flow.bidirection_bytes]).reshape((1,-1))flow.udps.model_prediction = self.my_model.predict(to_predict)ml_streamer = NFStreamer(source="eth0", udps=ModelPrediction(my_model=model)) 흐름에 대한 ml_streamer:인쇄(flow.udps.model_prediction)
더 많은 NFPlugin 예제와 세부 정보는 공식 문서 에서 제공됩니다. 라이브 데모 노트북을 사용하여 설치 없이 NFStream을 테스트할 수도 있습니다.
소스에서 NFStream을 빌드하려면 공식 문서에 제공된 설치 가이드를 읽어보세요.
우리의 행동 강령과 끌어오기 요청을 제출하는 프로세스에 대한 자세한 내용은 기여를 읽어보세요.
NFStream은 네트워크 데이터 연구 및 법의학을 위해 만들어졌습니다. 연구원과 네트워크 데이터 과학자는 이 프레임워크를 사용하여 신뢰할 수 있는 데이터 세트를 구축하고 네트워크 적용 기계 학습 모델을 훈련 및 평가할 수 있습니다. 다른 패킷 모니터링 도구와 마찬가지로 NFStream도 잘못 사용될 수 있습니다. 귀하가 소유하거나 관리하지 않는 네트워크에서는 실행하지 마십시오 .
NFStream 논문은 Computer Networks (COMNET) 에 게재되었습니다. 과학 출판물에서 NFStream을 사용하는 경우 다음 기사를 인용해 주시면 감사하겠습니다.
@기사{AOUINI2022108719,
title = {NFStream: 유연한 네트워크 데이터 분석 프레임워크},
작성자 = {Aouini, Zied 및 Pekar, Adrian},
doi = {10.1016/j.comnet.2021.108719},
issn = {1389-1286},
저널 = {컴퓨터 네트워크},
페이지 = {108719},
연도 = {2022},
게시자 = {Elsevier},
볼륨 = {204},
URL = {https://www.sciencedirect.com/science/article/pii/S1389128621005739}
}다음 사람들이 NFStream에 기여했습니다:
Zied Aouini : 창작자이자 핵심 개발자.
Adrian Pekar : 데이터 세트 생성 및 저장.
Romain Picard : MDNS 및 DHCP 플러그인 구현.
Radion Bikmukhamedov : SPLT 분석 NFPlugin에 대한 초기 작업.
다음 조직은 NFStream을 지원했습니다.
SoftAtHome : NFStream 개발 지원자.
코시체 기술 대학 : 데이터 세트 생성 및 저장을 위한 하드웨어 및 인프라.
ntop : nDPI 통합 기술 지원.
Nmap 프로젝트 : Npcap 통합 기술 지원(Windows CI의 NPCAP OEM 설치 프로그램)
Google OSS Fuzz : NFStream 프로젝트의 지속적인 퍼징 테스트 지원.
협업적 침입 탐지를 위한 계층적 아키텍처와 확률적 전략
암호화된 인터넷 및 악성 트래픽 분류를 위한 오픈 소스 프레임워크
ConFlow: 네트워크 침입 탐지에서 클래스 불균형 학습을 개선하는 대조 네트워크 흐름
이상 기반 네트워크 침입 탐지를 위한 지속적 학습
소프트웨어 정의 네트워크 기반의 자체 보안 시스템
감독되지 않는 네트워크 이상 탐지를 위한 강력한 변이 자동 인코더 및 정규화 흐름
RADON: 비지도 이상 징후 탐지를 위한 강력한 자동 인코더
IoT 장치 식별을 위한 일반적인 기계 학습 접근 방식
경보 우선순위를 위한 네트워크 장치 순위 지정: 침입 탐지 사례 연구
크롤링과 딥러닝의 결합된 접근 방식을 사용한 네트워크 흐름 기반 악성 코드 탐지
신뢰할 수 있는 분산형 인공지능 기반 네트워크 침입탐지
네트워크 트래픽 생성 및 분류를 위한 생성적 변환기 프레임워크
신경망 기반 다중 클래스 네트워크 트래픽 생성기 및 분류기
CCD-INID-V1 분류를 위해 임베디드 기능 선택 및 CNN을 사용하는 새로운 IoT 데이터 세트
5G 네트워크에서 비디오 스트리밍 흐름을 식별하기 위한 지식 정의 네트워킹 기반 접근 방식
지식 발견: 헤비히터 감지를 위한 임계값 정의에 대한 새로운 시각을 밝힐 수 있습니까?
Tor 출구 노드 트래픽 수집 및 분석
IP 네트워크 분석 및 수집 데이터
이 프로젝트는 LGPLv3 라이선스에 따라 라이선스가 부여됩니다. 자세한 내용은 라이선스 파일을 참조하세요.
