반응형 프로그래밍_기타 언어34 selenium 파이썬 스크래핑, 크롤링(Crawling) seleniumselenium은 웹 애플리케이션 테스트를 위한 프레임워크이고,selenium WebDriver를 통해 웹 브라우저를 제어하여 크롤링(스크래핑)을 진행합니다.크롤링(crawling) 혹은 스크래핑(scraping)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출 또는 제어하는 행위크롤링하는 소프트웨어를 크롤러(crawler)라고 부릅니다. BeautifulSoup 라이브러리를 사용하여 스크래핑도 가능하나대부분의 웹 사이트는 자바스크립트 사용하여 동적인 정보를 표현하여 한계점이 있습니다. 동적인 정보를 크롤링하기 위해 selenium을 많이 사용합니다.크롤링과 스크래핑 차이웹 크롤링과 웹 스크래핑은 모두 정보를 추출한다는 점에서 공통점을 지닙니다.크롤링은 특정 웹 페이지를 목표로 하지 .. 2024. 9. 22. 사설IP 공인 IP 정규표현식 패턴 사설IP 공인 IP 정규표현식 패턴 IPv4(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}사설 IP10(?:\.(?:25[0-5]|2[0-4][0-9]|[01]?[0-9]?[0-9])){3}|192\.168(?:\.(?:25[0-5]|2[0-4][0-9]|[01]?[0-9]?[0-9])){2}|172\.(?:1[6-9]|2[0-9]|3[01])(?:\.(?:25[0-5]|2[0-4][0-9]|[01]?[0-9]?[0-9])){2} 공인 IP\b(?!10\.|192\.168\.|172\.(?:1[6-9]|2[0-9]|3[01])\.)(?:25[0-5]|2[0-4][0-9]|[01]?[0-9]?[0-9])(?:\.(?:25[.. 2024. 9. 22. LSTM 모델 주가 예측 파이썬 코드 테스트용으로 만들어 본 주가 예측 파이썬 코드# 필요한 라이브러리 importimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.preprocessing import MinMaxScalerfrom tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Dense, LSTMimport FinanceDataReader as fdr# 주가 데이터 불러오기data = fdr.DataReader('005930', '2021-01-01', '2022-01-01') # 삼성전자 2021년 데이터data = data[['Close']] # 종가만.. 2024. 9. 22. 파이썬(Python) 정규표현식 사용 파이썬에서 정규표현식 사용하기파이썬에서 정규표현식 사용할 때는 re 모듈 import하여 사용한다.메서드Method 목적match()문자열의 처음부터 정규식과 매치되는지 조사한다.search()문자열 전체를 검색하여 정규식과 매치되는지 조사한다.findall()정규식과 매치되는 모든 문자열(substring)을 리스트로 리턴한다.finditer()정규식과 매치되는 모든 문자열(substring)을 반복 가능한 객체로 리턴한다.예제ip 리스트에 사설 IP만 출력하는 예제를 보자.import reip = ['192.168.0.100', '10.10.10.10', '193.232.111.222', '184.231.231.122']reg = re.compile( '10(?:\.(?:25[0-5]|2[0-4.. 2024. 9. 22. 이전 1 2 3 4 ··· 9 다음 반응형