정적 페이지 크롤링

🤩나만의 간략 IT 정의🤩

동적 페이지 VS 정적 페이지

 

동적 페이지?

동적 페이지는 말 그대로 움직이는 페이지라고 생각하면 쉽다. 예를 들어서 유튜브 같은 사이트가 동적 페이지에 속한다. 

정적 페이지?

정적 페이지는 동적 페이지와는 다르게 비약을 하자면 멈춰있는 페이지라고 생각하면 쉽다. 일반 쇼핑몰이 정적 페이지라고 말할 수 있다. 

이 둘을 보면 차이점이 보인다. 동적 페이지는 마치 뫼비우스 띠처럼 스크롤을 내리면 새로운 상품이 나타나는 반면 정적 페이지는 스크롤을 끝까지 내리면 페이지 하단(사업자 정보)이 나타난다. 

 

그렇다면 이번 시간은 무엇을 해 볼 것인가? 바로 모 음악 사이트의 TOP100을 추출해보는 코드를 주피터 노트북을 이용하여 크롤링을 할 것이다. 

 

먼저 오늘 크롤링할 모 음악 사이트의 TOP100을 한 번 봐보자!

정적 페이지와 똑같이 1-100위까지의 순위가 하단까지 한 번에 나오는 것을 볼 수 있다. 

이제 한 번 코드를 짜보고 크롤링을 해보자!

 

 

 

In [2]:

import requests as req
from bs4 import BeautifulSoup as  bs

 

In [3]:

# 1. req를 활용해서 멜론차트 페이지 정보 요청해서 받아오기

 

In [4]:

req.get('https://www.melon.com/chart/index.htm')
# <Response [406]> = 통신에 실패
# 400번대 오류는 요청오류  !클라이언트(내)가 잘못
# 500번대 오류는 서버오류 ! 서버가(멜론) 잘못

 

Out[4]:

<Response [406]>

 

In [5]:

# 크롬의 보안카드를 들고오자
# 브라우저인척 속이는 작업

user_agent = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}

 

In [6]:

# 멜론을 속이고 크롬인척 성공!
res = req.get('https://www.melon.com/chart/index.htm',headers = user_agent)

 

In [7]:

soup=bs(res.text,'lxml')

 

 

1. 노래 제목 수집¶

 

In [8]:

# > 자식, ' ' 자손
title = soup.select('div.ellipsis.rank01 > span > a')
# data = soup.select('div  a') 자손

 

In [9]:

title[0].text

 

Out[9]:

'사건의 지평선'

 

In [10]:

for i in title:
    print(i.text)

 

 

사건의 지평선
Nxde
ANTIFRAGILE
Hype boy
After LIKE
새삥 (Prod. ZICO) (Feat. 호미들)
사랑은 늘 도망가
London Boy
Polaroid
우리들의 블루스
Rush Hour (Feat. j-hope of BTS)
Attention
다시 만날 수 있을까
Monologue
무지개
이제 나만 믿어요
LOVE DIVE
아버지
Shut Down
A bientot
손이 참 곱던 그대
인생찬가
사랑해 진짜
연애편지
자격지심 (Feat. ZICO)
Pink Venom
보금자리
딱 10CM만
TOMBOY
해요 (2022)
그때 그 순간 그대로 (그그그)
그라데이션
Cookie
우린 그렇게 사랑해서
내가 아니라도
사랑인가 봐
FEARLESS
너의 모든 순간
정이라고 하자 (Feat. 10CM)
That That (prod. & feat. SUGA of BTS)
ELEVEN
나의 X에게
보고싶었어
떠나보낼 준비해 둘걸 그랬어
취중고백
첫사랑
That's Hilarious
내 기쁨은 너가 벤틀리를 끄는 거야
다정히 내 이름을 부르면
Dynamite
LOVE me
FOREVER 1
I Don't Think That I Like Her
주저하는 연인들을 위해
새벽에 걸려온 너의 전화는
Left and Right (Feat. Jung Kook of BTS)
Butter
The Astronaut
고백연습
SNEAKERS
Love story
도깨비불 (Illusion)
봄날
LAW (Prod. Czaer)
모든 날, 모든 순간 (Every day, Every Moment)
STAY
Yet To Come
봄여름가을겨울 (Still Life)
그중에 그대를 만나
Permission to Dance
밤하늘의 별을(2020)
사랑한다고 말해줘
POP!
나의 목소리로
스티커 사진
Feel My Rhythm
strawberry moon
신호등
MY BAG
INVU
인생은 뷰티풀
내 손을 잡아
그래서 그대는
Next Level
Off My Face
회전목마 (Feat. Zion.T, 원슈타인) (Prod. Slom)
못해
통화연결음
드라마
바보에게 바보가 (웹툰 '연애의 발견' X 이석훈)
DICE
Girls
늦은 밤 헤어지긴 너무 아쉬워
너를 생각해
GANADARA (Feat. 아이유)
I Ain't Worried
GHOST TOWN
모든 계절은 너였다
주마등
Talk that Talk

 

In [11]:

len(title)

 

Out[11]:

100

 

 

2. 가수 수집¶

 

In [12]:

# singer = soup.select('div.ellipsis.rank02 > span > a')
# a태그는 하나의 노래에 여러가수가 있을 때 실패
# 가수 각각 a태그에 담겨져 있기 때문

 

In [13]:

# 가수 전체가 포함된 태그를 수집
# div 태그로 가져오면 안에 같은 값이 두 번 나옴
#singer = soup.select('div.ellipsis.rank02')

 

In [14]:

# span 태그를 활용해서 가수 수집
singer = soup.select('span.checkEllipsis')
len(singer)

 

Out[14]:

100

 

In [15]:

for i in singer:
    print(i.text)

 

 

윤하 (YOUNHA)
(여자)아이들
LE SSERAFIM (르세라핌)
NewJeans
IVE (아이브)
지코 (ZICO)
임영웅
임영웅
임영웅
임영웅
Crush
NewJeans
임영웅
테이
임영웅
임영웅
IVE (아이브)
임영웅
BLACKPINK
임영웅
임영웅
임영웅
임영웅
임영웅
BE'O (비오)
BLACKPINK
임영웅
10CM, BIG Naughty (서동현)
(여자)아이들
#안녕
WSG워너비 (가야G)
10CM
NewJeans
강민경 (다비치), 잔나비 최정훈
주호
멜로망스
LE SSERAFIM (르세라핌)
성시경
BIG Naughty (서동현)
싸이 (PSY)
IVE (아이브)
경서
WSG워너비 (4FIRE)
임한별
김민석 (멜로망스)
백아
Charlie Puth
김승민
경서예지, 전건호
방탄소년단
BE'O (비오)
소녀시대 (GIRLS' GENERATION)
Charlie Puth
잔나비
한동근
Charlie Puth, 정국, 방탄소년단
방탄소년단
진
경서
ITZY (있지)
볼빨간사춘기
aespa
방탄소년단
윤미래, 비비 (BIBI)
폴킴
The Kid LAROI, Justin Bieber
방탄소년단
BIGBANG (빅뱅)
김호중
방탄소년단
경서
탑현
나연 (TWICE)
김호중
21학번
Red Velvet (레드벨벳)
아이유
이무진
(여자)아이들
태연 (TAEYEON)
김호중
아이유
이영현
aespa
Justin Bieber
sokodomo
김나영
보라미유, MJ (써니사이드)
아이유
이석훈
NMIXX
aespa
케이시 (Kassy)
주시크 (Joosiq)
박재범
OneRepublic
Benson Boone
길구봉구
김호중
TWICE (트와이스)

 

In [16]:

# 0726
# 수집한 데이터를 사용자가 사용할 수 있게 변화 > 엑셀파일로 만들기

 

In [17]:

# 리스트를 만들어서 title과 singer의 값을 저장
title_list =[]
singer_list = []
for i in range(len(singer)):
    singer_list.append(singer[i].text)
    title_list.append(title[i].text)
    

 

In [18]:

title_list

 

Out[18]:

['사건의 지평선',
 'Nxde',
 'ANTIFRAGILE',
 'Hype boy',
 'After LIKE',
 '새삥 (Prod. ZICO) (Feat. 호미들)',
 '사랑은 늘 도망가',
 'London Boy',
 'Polaroid',
 '우리들의 블루스',
 'Rush Hour (Feat. j-hope of BTS)',
 'Attention',
 '다시 만날 수 있을까',
 'Monologue',
 '무지개',
 '이제 나만 믿어요',
 'LOVE DIVE',
 '아버지',
 'Shut Down',
 'A bientot',
 '손이 참 곱던 그대',
 '인생찬가',
 '사랑해 진짜',
 '연애편지',
 '자격지심 (Feat. ZICO)',
 'Pink Venom',
 '보금자리',
 '딱 10CM만',
 'TOMBOY',
 '해요 (2022)',
 '그때 그 순간 그대로 (그그그)',
 '그라데이션',
 'Cookie',
 '우린 그렇게 사랑해서',
 '내가 아니라도',
 '사랑인가 봐',
 'FEARLESS',
 '너의 모든 순간',
 '정이라고 하자 (Feat. 10CM)',
 'That That (prod. & feat. SUGA of BTS)',
 'ELEVEN',
 '나의 X에게',
 '보고싶었어',
 '떠나보낼 준비해 둘걸 그랬어',
 '취중고백',
 '첫사랑',
 "That's Hilarious",
 '내 기쁨은 너가 벤틀리를 끄는 거야',
 '다정히 내 이름을 부르면',
 'Dynamite',
 'LOVE me',
 'FOREVER 1',
 "I Don't Think That I Like Her",
 '주저하는 연인들을 위해',
 '새벽에 걸려온 너의 전화는',
 'Left and Right (Feat. Jung Kook of BTS)',
 'Butter',
 'The Astronaut',
 '고백연습',
 'SNEAKERS',
 'Love story',
 '도깨비불 (Illusion)',
 '봄날',
 'LAW (Prod. Czaer)',
 '모든 날, 모든 순간 (Every day, Every Moment)',
 'STAY',
 'Yet To Come',
 '봄여름가을겨울 (Still Life)',
 '그중에 그대를 만나',
 'Permission to Dance',
 '밤하늘의 별을(2020)',
 '사랑한다고 말해줘',
 'POP!',
 '나의 목소리로',
 '스티커 사진',
 'Feel My Rhythm',
 'strawberry moon',
 '신호등',
 'MY BAG',
 'INVU',
 '인생은 뷰티풀',
 '내 손을 잡아',
 '그래서 그대는',
 'Next Level',
 'Off My Face',
 '회전목마 (Feat. Zion.T, 원슈타인) (Prod. Slom)',
 '못해',
 '통화연결음',
 '드라마',
 "바보에게 바보가 (웹툰 '연애의 발견' X 이석훈)",
 'DICE',
 'Girls',
 '늦은 밤 헤어지긴 너무 아쉬워',
 '너를 생각해',
 'GANADARA (Feat. 아이유)',
 "I Ain't Worried",
 'GHOST TOWN',
 '모든 계절은 너였다',
 '주마등',
 'Talk that Talk']

 

In [19]:

# 리스트로 만든 데이터를 표(Data Frame)형식으로 제작
import pandas as pd
# 리스트로 데이터프레임을 만들면 행 방향으로 데이터 프레임이 만들어짐
df1 = pd.DataFrame([singer_list,title_list])

 

In [20]:

# 전치 함수 사용하기
df1 = df1.T

 

In [21]:

# 컬럼 이름 변경
df1.columns = ['가수','노래']
df1

 

Out[21]:

	가수	노래
0	윤하 (YOUNHA)	사건의 지평선
1	(여자)아이들	Nxde
2	LE SSERAFIM (르세라핌)	ANTIFRAGILE
3	NewJeans	Hype boy
4	IVE (아이브)	After LIKE
...	...	...
95	OneRepublic	I Ain't Worried
96	Benson Boone	GHOST TOWN
97	길구봉구	모든 계절은 너였다
98	김호중	주마등
99	TWICE (트와이스)	Talk that Talk

100 rows × 2 columns

 

In [22]:

# 딕셔너리로 데이터프레임 만들기
dic = {'가수':singer_list, '노래':title_list}
pd.DataFrame(dic)

 

Out[22]:

	가수	노래
0	윤하 (YOUNHA)	사건의 지평선
1	(여자)아이들	Nxde
2	LE SSERAFIM (르세라핌)	ANTIFRAGILE
3	NewJeans	Hype boy
4	IVE (아이브)	After LIKE
...	...	...
95	OneRepublic	I Ain't Worried
96	Benson Boone	GHOST TOWN
97	길구봉구	모든 계절은 너였다
98	김호중	주마등
99	TWICE (트와이스)	Talk that Talk

100 rows × 2 columns

 

In [23]:

# 인덱스 번호 변경
df1.index = range(1,101)
df1

 

Out[23]:

	가수	노래
1	윤하 (YOUNHA)	사건의 지평선
2	(여자)아이들	Nxde
3	LE SSERAFIM (르세라핌)	ANTIFRAGILE
4	NewJeans	Hype boy
5	IVE (아이브)	After LIKE
...	...	...
96	OneRepublic	I Ain't Worried
97	Benson Boone	GHOST TOWN
98	길구봉구	모든 계절은 너였다
99	김호중	주마등
100	TWICE (트와이스)	Talk that Talk

100 rows × 2 columns

 

In [24]:

# 인덱스에 이름 달기
df1.index.name = '순위'
df1

 

Out[24]:

	가수	노래
순위
1	윤하 (YOUNHA)	사건의 지평선
2	(여자)아이들	Nxde
3	LE SSERAFIM (르세라핌)	ANTIFRAGILE
4	NewJeans	Hype boy
5	IVE (아이브)	After LIKE
...	...	...
96	OneRepublic	I Ain't Worried
97	Benson Boone	GHOST TOWN
98	길구봉구	모든 계절은 너였다
99	김호중	주마등
100	TWICE (트와이스)	Talk that Talk

100 rows × 2 columns

 

In [25]:

# csv파일로 만들기
df1.to_csv('melon_tip100.csv', encoding = 'euc-kr')

 

In [ ]:

 

In [ ]: