Language/Python2 Multiprocessing - multiprocessing(https://docs.python.org/3/library/multiprocessing.html) 공식 문서 참고 Multiprocessing - multiprocessing은 API를 사용해 process spawning 지원 - processing spawning은 parent process가 os에 요청해 새로운 child process를 만들어내는 과정 - local concurrency와 remote concurrency를 지원하며, GIL(Global Interpreter Lock)을 효과적으로 우회 - Local concurrency is defined as "within a system" (e.g. a multi-core CPU), nonlocal conc.. 2023. 3. 24. [Python] 웹크롤링(Web Crawling) 예제 웹 크롤링(Web crawling) web상에 존재하는 contents를 수집하는 작업 1) HTML 페이지를 가져오는 방법 2) Rest API를 사용하는 방법 3) Selenium등 브라우저를 조작해서 가져오는 방법 BeautifulSoup 라이브러리 사용하기 BeautifulSoup는 파이썬에서 제공하는 HTML의 태그를 파싱해서 필요한 데이터만 추출하는 라이브러리 예제 라이브러리 임포트 import requests from bs4 import BeautifulSoup html 페이지 가져오기 # HTML 페이지 파싱 soup = BeautifulSoup(res.content, 'html.parser') 태그이름으로 데이터 가져오기 # html 페이지에서 필요한 부분 태그 이름으로 가져오기 find.. 2020. 2. 8. 이전 1 다음