본문 바로가기
반응형

전체 글176

selenium 파이썬 스크래핑, 크롤링(Crawling) seleniumselenium은  웹 애플리케이션 테스트를 위한 프레임워크이고,selenium WebDriver를 통해 웹 브라우저를 제어하여 크롤링(스크래핑)을 진행합니다.크롤링(crawling) 혹은 스크래핑(scraping)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출 또는 제어하는 행위크롤링하는 소프트웨어를 크롤러(crawler)라고 부릅니다. BeautifulSoup 라이브러리를 사용하여 스크래핑도 가능하나대부분의 웹 사이트는 자바스크립트 사용하여 동적인 정보를 표현하여 한계점이 있습니다. 동적인 정보를 크롤링하기 위해 selenium을 많이 사용합니다.크롤링과 스크래핑 차이웹 크롤링과 웹 스크래핑은 모두 정보를 추출한다는 점에서 공통점을 지닙니다.크롤링은 특정 웹 페이지를 목표로 하지 .. 2024. 9. 22.
TCP 3128 포트 정보 TCP 3128일반적으로 Proxy 서버에서 사용되는 포트이다.많이 알려져 있는 Squid Proxy에서 기본 포트로 사용되기도 하나, 악성 행위에도 사용된 기록이 있다.백도어 RingZero, Reverse WWW Backdoor, Masters Paradise 등 여러 악성코드에서 추가적인 악성행위를 위해 3128 포트를 사용했기에, 3128 포트에 대해 정상 유무 확인 할 때는 IP + Port 정보를 결합하여 분석이 필요하다. 2024. 9. 22.
사설IP 공인 IP 정규표현식 패턴 사설IP 공인 IP 정규표현식 패턴 IPv4(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}사설 IP10(?:\.(?:25[0-5]|2[0-4][0-9]|[01]?[0-9]?[0-9])){3}|192\.168(?:\.(?:25[0-5]|2[0-4][0-9]|[01]?[0-9]?[0-9])){2}|172\.(?:1[6-9]|2[0-9]|3[01])(?:\.(?:25[0-5]|2[0-4][0-9]|[01]?[0-9]?[0-9])){2} 공인 IP\b(?!10\.|192\.168\.|172\.(?:1[6-9]|2[0-9]|3[01])\.)(?:25[0-5]|2[0-4][0-9]|[01]?[0-9]?[0-9])(?:\.(?:25[.. 2024. 9. 22.
LSTM 모델 주가 예측 파이썬 코드 테스트용으로 만들어 본 주가 예측 파이썬 코드# 필요한 라이브러리 importimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.preprocessing import MinMaxScalerfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense, LSTMimport FinanceDataReader as fdr# 주가 데이터 불러오기data = fdr.DataReader('005930', '2021-01-01', '2022-01-01') # 삼성전자 2021년 데이터data = data[['Close']] # 종가만.. 2024. 9. 22.
파이썬(Python) 정규표현식 사용 파이썬에서 정규표현식 사용하기파이썬에서 정규표현식 사용할 때는 re 모듈 import하여 사용한다.메서드Method 목적match()문자열의 처음부터 정규식과 매치되는지 조사한다.search()문자열 전체를 검색하여 정규식과 매치되는지 조사한다.findall()정규식과 매치되는 모든 문자열(substring)을 리스트로 리턴한다.finditer()정규식과 매치되는 모든 문자열(substring)을 반복 가능한 객체로 리턴한다.예제ip 리스트에 사설 IP만 출력하는 예제를 보자.import reip = ['192.168.0.100', '10.10.10.10', '193.232.111.222', '184.231.231.122']reg = re.compile( '10(?:\.(?:25[0-5]|2[0-4.. 2024. 9. 22.
쓸만한 nmap NSE Script 모음 Nmap Scripting Engine (NSE)는 Nmap에서 사용할 수 있는 스크립트 엔진입니다.이 엔진은 다양한 프로토콜과 애플리케이션에 대한 취약점 탐지, 서비스 및 호스트 탐지, 그리고 정보 수집과 같은 다양한 작업을 수행할 수 있습니다.fingerftp-anonftp-bounceftp-brutehadoop-datanode-infohadoop-jobtracker-infohadoop-namenode-infohadoop-secondary-namenode-infohadoop-tasktracker-infohbase-master-infohbase-region-infohttp-brutehttp-csrfhttp-dlink-backdoorhttp-enumhttp-fetchhttp-google-malwareht.. 2024. 9. 22.
반응형

티스토리툴바