30 lines
916 B
Python
30 lines
916 B
Python
import requests
|
|
from bs4 import BeautifulSoup
|
|
import get_url
|
|
|
|
|
|
url = get_url.fetch_data_from_mariadb()['url']
|
|
|
|
def getContents():
|
|
# HTTP GET 요청으로 페이지 가져오기
|
|
response = requests.get(url)
|
|
|
|
# 응답 상태 확인
|
|
if response.status_code == 200:
|
|
# HTML 파싱
|
|
soup = BeautifulSoup(response.text, 'html.parser')
|
|
|
|
# HTML 태그를 제거 후 페이지의 모든 텍스트 가져오기 (전체 내용)
|
|
page_content = soup.get_text()
|
|
|
|
# 빈 줄을 제거하고 텍스트만 출력 (줄바꿈 문자를 기준으로 필터링)
|
|
lines = [line.strip() for line in page_content.splitlines() if line.strip()]
|
|
|
|
# 결과 출력
|
|
contents = "\n".join(lines)
|
|
return contents
|
|
else:
|
|
print(f"Failed to fetch the URL. Status code: {response.status_code}")
|
|
|
|
tmp = getContents()
|
|
print(tmp) |