root@hfairy:~$

[Bandit] Level 4 - Level 5

hfairy — Wed, 31 Dec 2025 19:04:41 +0900

Bandit Level 4 -> Level 5

5단계로 넘어갈 수 있는 패스워드는 'inhere' 디렉토리 내에 있는 파일 중 읽을 수 있는 파일에 저장되어 있다고 한다.

다른 문제들과 동일하게 일단 'inhere' 디렉토리로 이동해 저장되어 있는 파일을 출력해 보았다.

'-file00'부터 '-file09'까지 총 10개의 파일이 저장되어 있음을 알 수 있다.

일단 맨 뒤의 파일을 'cat'을 이용해 열어보았는데 딱 봐도 읽을 수 없는 내용이었다..

그래서 'file' 명령어를 사용해 파일 유형을 확인하였다.

다른 파일들과 달리 '-file07'은 파일 유형이 아스키 텍스트로 나타나는 것을 볼 수 있다.

'-file07'을 읽으면 레벨5로 넘어가기 위한 패스워드를 읽을 수 있다.

번외

이번 문제의 경우 파일 개수가 많지 않기 때문에 하나하나 열어보고 확인할 수 있다. 물론 이 방법엔 한계가 있지만 전혀 모르겠을 땐 이렇게라도..ㅎㅎ

나는 뒤에서부터 열어보았더니 세번만에 찾을 수 있었다.

[Bandit] Level 3 - Level 4 / [linux] hidden file

hfairy — Wed, 31 Dec 2025 17:28:41 +0900

리눅스 숨김파일

리눅스에서 숨김파일(hidden file)의 경우, 파일명 앞에 온점(.)이 표기되어 있다.

하지만 단순히 'ls' 명령어로 파일명을 확인할 수는 없고 '-a' 라는 옵션을 달면 숨김파일까지 모두 확인할 수 있다.

ex) ls -a

아래 문제 풀이에서 사용방법과 결과를 확인할 수 있다.

Bandit Level 3 -> Level 4

다음 레벨의 패스워드는 'inhere'라는 디렉토리 내의 숨김 파일에 저장되어 있다고 한다.

ls 명령어로 파일 및 디렉토리를 확인한다. 'inhere'라는 디렉토리를 확인할 수 있다.
cd 명령어로 'inhere'로 경로를 변경했다.
ls 명령어로 'inhere' 내에 저장된 파일을 확인했지만 아무것도 출력되지 않았다.
문제에서 숨김파일에 패스워드를 저장했다고 했으니 '-a' 옵션을 넣어 다시 명령어를 입력했다.
'...Hiding-From-You'라는 이름의 숨김파일이 저장되어 있는 것을 확인했다.

'cat' 명령어를 입력해 해당 파일을 읽어주었고, 다음단계의 패스워드를 획득했다.

[MySQL] .csv파일로 저장하고 엑셀에서 열기

hfairy — Sat, 27 Dec 2025 01:56:32 +0900

이번 포스트에서는 MySQL 테이블에 저장된 데이터를 csv 파일로 저장하고 엑셀에서 불러오는 과정을 작성하고자 한다.

나는 데이터베이스 'jokbalreview_db' 안의 테이블 'jokbalreview_tb'에 저장된 데이터를 추출할 것이다.

먼저 저장된 전체 데이터를 불러오는 코드는 아래와 같다.

USE jokbalreview_db; #올바른 db를 왼쪽 스키마 리스트에서 선택하면 굳이 작성하지 않아도 된다.
SELECT * FROM jokbalreview_tb;

그리고 만약 특정브랜드(여기선 'brand_name')의 리뷰만 선택적으로 보고싶다면 아래와 같이 쿼리를 작성하면 된다.

SELECT * FROM jokbalreview_tb where brand_name = '저장된 브랜드명';

이제 엑셀로 내보내고 싶은 데이터를 다 선택했다면 결과창에 Export 아이콘을 클릭한다.

저장 화면이 뜨면 파일 형식은 CSV(*.csv)를 선택해서 저장한다.

csv 파일 저장 후 엑셀에 들어가 [데이터 > 텍스트/CSV에서 데이터 가져오기]경로를 선택하고 아까 저장한 csv파일을 가져오기한다.

아래와 같은 창이 뜨면 확인 후 [데이터 변환]을 클릭한다.

편집기 창이 뜨면 데이터 내용 확인 후 [닫기 및 로드]를 선택한다.

엑셀로 데이터 확인 및 변환 완료.

[웹크롤링] 네이버 쇼핑(네이버스토어) 후기 크롤링 (랭킹순, 별점 낮은순)

hfairy — Sat, 27 Dec 2025 01:20:08 +0900

https://ryd-gmswjr.tistory.com/11

[MySQL] 데이터베이스 구축 및 테이블 생성 _ 1

MySQL을 기반으로 실습 진행하였으며 버전은 8.1.0이다.(mysql --version) 데이터베이스 생성CREATE DATABASE IF NOT EXISTS cosmetic_db; 'CREATE DATABASE'를 이용해 'cosmetic_db'라는 데이터베이스를 생성한다.이때 중복

ryd-gmswjr.tistory.com

데이터베이스 구축 및 테이블 생성은 위에 정리한 내용을 기반으로 진행했다.

오랜만에 하려니 또 가물가물했는데 이렇게 정리해놓은게 얼마나 다행이던지..

목표는 아래와 같다.

브랜드 여섯개 선정 후 각 제품의 후기 크롤링하기
- 랭킹순 70개, 별점 낮은순 30개 => 총 100개의 후기 수집
- 만약 수집 과정 중 중복 데이터가 있다면 한개만 저장. 즉, 각 브랜드의 댓글수가 100개로 동일하지 않을 수 있음
크롤링 후 각 브랜드별로 csv 파일로 저장해 하나의 엑셀 파일에 저장하기(시트 나누어)

생성한 테이블의 컬럼은 위 사진과 같다.

review_num : 고유번호 (자동으로 부여됨)

brand_name : 브랜드명 (따로 수집하지 않고 코드에서 각 브랜드 이름을 넣어줬음)

review_text : 수집된 리뷰

MySQL 연결 코드

전에 크롤링할 때도 사용했던 MySQL 연결 코드 파일을 그대로 사용하였다.

한번 작성해놓으면 쉽게 import할 수 있어서 편하다.

password에는 실제 MySQL 비밀번호를 작성하면 된다.

주의할 점은 kill_chrome 함수는 크롬 프로세스를 다 종료시키기 때문에 이 함수를 사용한다면 크롬창에 중요한건 없는지 확인한 후 실행시켜야 한다.

import mysql.connector
import subprocess
import re

# MySQL 서버 연결 정보
host = '127.0.0.1'
database = 'jokbalreview_db'
user = 'root'
password = ' '

# MySQL 서버에 연결
conn = mysql.connector.connect(host=host, database=database, user=user, password=password, use_pure=True)

# 커서 생성
cursor = conn.cursor()

def kill_chrome():
    #KILL, TASKKILL / 프로세스를 종료하는 명령을 의미
    subprocess.call("TASKKILL /f /IM CHROME.EXE")
    subprocess.call("TASKKILL /f /IM CHROMEDRIVER.EXE")

최종코드

코드 실행 전 url 과 brand_name은 직접 입력했다.

각 섹션마다 대기시간을 넣어줘서 로딩되기 전에 진행돼 꼬이지 않게 함. 또한 매크로 탐지도 피할 수 있다.

코드 진행과정은 아래와 같다.

크롬을 통해 url 접속
스크롤을 통해 리뷰 버튼이 보이도록 함
리뷰 클릭
필터 클릭 (랭킹순)
리뷰 수집 및 저장 (중복 데이터 저장X, 페이지 넘기는 코드 포함)
필터 클릭 (별점 낮은순)
리뷰 수집 및 저장 (중복 데이터 저장X, 페이지 넘기는 코드 포함)
종료

import time
import random
# mysql 연결 코드 파일 import하기
from mysql_info_jokbal import *
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.keys import Keys

# --- 설정 및 초기화 ---
target_counts = {"랭킹순": 70, "평점 낮은순": 30}
total_collected_count = 0
url = " "
random_delay = random.uniform(2, 9)
brand_name = ' '

# SQL 쿼리 (컬럼에 맞춰 수정)
query = "INSERT IGNORE INTO jokbalreview_tb (brand_name, review_text) VALUES (%s, %s)"

page_index = 1

# kill_chrome()

driver = webdriver.Chrome()
driver.get(url)

# 종종 로봇이 아님을 증명하는 페이지가 뜨기 때문에 대기시간을 넉넉하게 설정함
wait = WebDriverWait(driver, 10)
time.sleep(random.uniform(5, 10))

# 스크롤
for c in range(3,7):
    driver.find_element(By.TAG_NAME,'body').send_keys(Keys.PAGE_DOWN)
    time.sleep(2) 

# 리뷰 클릭
try:
    review_button = driver.find_element(By.XPATH, "//a[@data-name='REVIEW']")
    ActionChains(driver).move_to_element(review_button).click().perform()
    time.sleep(2)
    print("리뷰 버튼 클릭 성공")
except Exception as e:
    print(f"리뷰 버튼을 찾거나 클릭하는 데 실패했습니다: {e}")

time.sleep(random_delay)

for filter_name, limit in target_counts.items():
    print(f"\n>>> {filter_name} 필터 수집 시작 (목표: {limit}개)")
    
    page_index = 1 

    # 1. 필터 버튼 클릭
    try:
        filter_btn = wait.until(EC.element_to_be_clickable((By.XPATH, f'//a[contains(text(), "{filter_name}")]')))
        driver.execute_script("arguments[0].click();", filter_btn)
        time.sleep(3)
        print(f"{filter_name} 버튼 클릭 성공")
    
    except Exception as e:
        print(f"{filter_name} 버튼 클릭 실패: {e}")
        continue

    current_filter_collected = 0

    while current_filter_collected < limit:
        try:
            # 리뷰 박스 요소들 찾기
            review_elements = driver.find_elements(By.CSS_SELECTOR, 'li.PxsZltB5tV')

            if not review_elements: break

            for element in review_elements:
                if current_filter_collected >= limit:
                    break
                
                print(f"\n{page_index}페이지...\n")

                # 리뷰 본문 추출
                try:
                    # 부모 클래스를 거쳐서 span을 찾는 방식
                    # comment_text = element.find_element(By.XPATH, ".//div[contains(@class, 'KqJ8QqwO82')]/span").text.strip()
                    comment_text = element.find_element(By.CLASS_NAME, 'KqJ8Qqw082').text.strip()
                except:
                    continue

                if comment_text:  # 내용이 있는 경우에만 저장
                    total_collected_count += 1
                    # (review_num, brand_name, review_text)
                    review_data = (brand_name, comment_text[:500])
                    
                    try:
                        cursor.execute(query, review_data)
                        conn.commit()
                        current_filter_collected += 1
                        print(f"[{filter_name}] {current_filter_collected}/{limit} 완료")
                    except mysql.connector.errors.IntegrityError:
                        print("중복 데이터 건너뜀")
                        total_collected_count -= 1 # 중복 시 카운트 되돌림

            if current_filter_collected >= limit:
                break

            # --- 페이지네이션 ---
            page_index += 1
            next_page = str(page_index)

            try:
                if int(next_page) % 10 == 1:
                    # '다음' 버튼(> 모양) 찾기
                    next_btn = driver.find_elements(By.CLASS_NAME, "JY2WGJ4hXh")
                    if next_btn:
                        next_btn[-1].click()
                        print(f">>> {next_page}페이지 그룹으로 이동")
                    else:
                        print(">>> 다음 페이지 그룹이 없습니다. 수집 종료.")
                        break
                else:
                    # 숫자 페이지 번호들 찾기
                    page_elements = driver.find_elements(By.CLASS_NAME, "hyY6CXtbcn")
                    clicked = False

                    for pg in page_elements:
                        if pg.text == next_page:
                            # # 스크롤을 이동시켜 클릭 가능하게 만듦
                            # driver.execute_script("arguments[0].scrollIntoView();", pg)
                            pg.click()
                            clicked = True
                            print(f">>> {next_page}페이지 클릭 성공")
                            time.sleep(random_delay)
                            break
            
                        # 만약 모든 페이지 요소를 뒤졌는데 다음 페이지 번호가 없다면?
                    if not clicked:
                        print(f">>> 더 이상 클릭할 페이지({next_page})가 없습니다. 수집을 종료합니다.")
                        break 

                time.sleep(random.uniform(2.5, 4.0)) # 페이지 로딩 대기
            except Exception as e:
                print(f"페이지 이동 중 오류 발생: {e}")
                break

        except Exception as e:
            print(f"오류 발생: {e}")
            break

print(f"\n 수집 완료! '{brand_name}' 총 {total_collected_count}개 리뷰 저장됨.")

[웹크롤링] 네이버 스마트스토어 리뷰 크롤링

hfairy — Thu, 10 Jul 2025 01:58:13 +0900

https://ryd-gmswjr.tistory.com/11

[MySQL] 데이터베이스 구축 및 테이블 생성 _ 1

ryd-gmswjr.tistory.com

데이터베이스와 테이블 구축 방법은 위 게시물에 자세하게 작성해 놓았다.

오늘 코드를 통해 데이터를 삽입할 테이블과 컬럼 정보는 위와 같다.

각 컬럼의 목적은 아래와 같다.

comment_num(primary key): 고유번호

product_name: 제품명

comment_text: 리뷰 내용

comment_date: 리뷰 작성 일자

crawling_date: 크롤링한 날짜 및 시간

site_name: 크롤링한 사이트 이름(쿠팡, 네이버쇼핑 등)

url: 크롤링한 사이트 url

MySQL 연결 코드

MySQL에 연동할 코드는 다른 코드에서도 쓰기 편하도록 별도의 파일을 생성하여 import하였다.

파일명은 'mysql_info'
아래 코드에서 "****"로 처리한 password에는 실제 password 넣으면 된다.

import mysql.connector
import subprocess
import re

# MySQL 서버 연결 정보
host = '127.0.0.1'
database = 'cosmetic_db'
user = 'root'
password = '****'

# MySQL 서버에 연결
conn = mysql.connector.connect(host=host, database=database, user=user, password=password)

# 커서 생성
cursor = conn.cursor()

def kill_chrome():
    # KILL, TASKKILL / 프로세스를 종료하는 명령을 의미
    subprocess.call("TASKKILL /f /IM CHROME.EXE")
    subprocess.call("TASKKILL /f /IM CHROMEDRIVER.EXE")


def remove_tag(_input_data):
    p = re.compile('@[a-zA-Z0-9_]+')
    data = p.search(_input_data)
    if data is not None:
        tag_data = p.findall(_input_data)
        output_data = _input_data
        for tag in tag_data:
            output_data = output_data.replace(tag, '')
        return output_data.strip()
    else:
        return _input_data
    #print(output_data)

최종코드

url에는 후기를 크롤링할 제품 페이지의 url을 넣으면 된다.

product_name도 직접 제품명을 작성한다.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
import time
import random
from mysql_info import *
from selenium.webdriver.common.action_chains import ActionChains

random_delay = random.uniform(2, 9)

site_name = "네이버스토어"
driver = webdriver.Chrome()
url = "https://smartstore.naver.com/..."

driver.get(url)
time.sleep(random_delay)

product_name =driver.find_element(By.CLASS_NAME, '_22kNQuEXmb').text.strip()

action = ActionChains(driver)

time.sleep(random_delay)

# 스크롤
for c in range(0,6):
    driver.find_element(By.TAG_NAME,'body').send_keys(Keys.PAGE_DOWN)
    time.sleep(1) 


# 유니크 인덱스 추가 후 수정한 쿼리
query = "INSERT IGNORE INTO derma_comment_tb (product_name, comment_text, comment_date, site_name, url) VALUES (%s, %s, %s, %s, %s)"

review_list= []
page_index = 1

try:
    review_button = driver.find_element(By.XPATH, "//a[@data-name='REVIEW']")
    ActionChains(driver).move_to_element(review_button).click().perform()
except Exception as e:
    print(f"리뷰 버튼을 찾거나 클릭하는 데 실패했습니다: {e}")

time.sleep(random_delay)

# 페이지를 아래로 스크롤하여 최신순 버튼이 보이도록 함
for _ in range(2):
    driver.find_element(By.TAG_NAME, 'body').send_keys(Keys.PAGE_DOWN)
    time.sleep(1)

# 최신순 버튼 클릭
try:
    lately_button = driver.find_element(By.XPATH, "//a[@data-shp-contents-id='최신순']")
    ActionChains(driver).move_to_element(lately_button).click().perform()
except Exception as e:
    print(f"최신순 버튼을 찾거나 클릭하는 데 실패했습니다: {e}")

time.sleep(random_delay)

while True: 
    try:
        review_elements = driver.find_elements(By.CLASS_NAME, '_9oeeh3ukt7')
        for element in review_elements:
            # 리뷰 날짜
            try:
                print(f"\n{page_index}페이지...\n")
                comment_date = element.find_element(By.XPATH, ".//span[contains(text(), '.')]").text.strip()
                print(comment_date)
            except:
                comment_date = ''

            # 리뷰 본문 (하단의 span 중 마지막 것)
            try:
                comment_text = element.find_elements(By.CLASS_NAME, '_2L3vDiadT9')[-1].text.strip()
                print(comment_text)
            except:
                comment_text = ''
        
            review_list.append((product_name, comment_text[:1000],comment_date, site_name, url))

        for review in review_list:
            try:
                cursor.execute(query, review)
            except mysql.connector.errors.IntegrityError:
                print("중복값 제외")
        
        conn.commit()

        next_page = str(page_index + 1)

        if int(next_page) % 10 == 1:
            driver.find_elements(By.CLASS_NAME, "fAUKm1ewwo")[-1].click()
        else:
            page_elements = driver.find_elements(By.CLASS_NAME, "UWN4IvaQza")
            for page_element in page_elements:
                if page_element.text == next_page:
                    page_element.click()
                    time.sleep(random_delay)
                    break
        time.sleep(random_delay)
        page_index += 1

    except Exception as e:
        print("에러 발생 또는 마지막 페이지:", e)
        break

쿠팡과 비교해서 블락이 안 걸려서 다행이었다... 쿠팡은 너무 쉽게 차단 당해서 다음날까지 시도도 못하고..

vpn이나 프록시를 사용해야 하나 했는데 너무 복잡해서 일단은 되는 것만이라도 하는걸로

[웹크롤링] 쿠팡 후기 크롤링

hfairy — Fri, 4 Jul 2025 20:38:32 +0900

https://ryd-gmswjr.tistory.com/11

[MySQL] 데이터베이스 구축 및 테이블 생성 _ 1

ryd-gmswjr.tistory.com

위 페이지에서 구축한 테이블에 데이터를 수집하는 과정을 작성할 예정이다.

DB name: cosmetic_db

Table name: derma_review_tb

각 column은 아래와 같음

review_num(primary key): 고유번호
product_name: 제품명
review_text: 리뷰 내용
review_date: 리뷰 작성 일자
crawling_date: 크롤링한 날짜 및 시간
site_name: 크롤링한 사이트 이름(쿠팡, 네이버쇼핑 등)
url: 크롤링한 사이트 url

※ ※ ※ ※ ※ 오류날 수 있음 주의...^-^※ ※ ※ ※ ※

Visual Studio Code에서 작업하였다.

설치되지 않은 라이브러리들은 터미널에 입력해서 설치하였다.

예를 들면 ' pip install selenium ' 이렇게.

MySQL 연결 코드

MySQL에 연동할 코드는 다른 코드에서도 편리하게 사용할 수 있도록 별개의 파일로 저장하였다.

파일명은 'mysql_info'

아래 코드에서 "****"로 처리한 password에는 실제 password 넣으면 된다.

import mysql.connector
import subprocess
import re

# MySQL 서버 연결 정보
host = '127.0.0.1'
database = 'cosmetic_db'
user = 'root'
password = '****'

# MySQL 서버에 연결
conn = mysql.connector.connect(host=host, database=database, user=user, password=password)

# 커서 생성
cursor = conn.cursor()

def kill_chrome():
    # KILL, TASKKILL / 프로세스를 종료하는 명령을 의미
    subprocess.call("TASKKILL /f /IM CHROME.EXE")
    subprocess.call("TASKKILL /f /IM CHROMEDRIVER.EXE")


def remove_tag(_input_data):
    p = re.compile('@[a-zA-Z0-9_]+')
    data = p.search(_input_data)
    if data is not None:
        tag_data = p.findall(_input_data)
        output_data = _input_data
        for tag in tag_data:
            output_data = output_data.replace(tag, '')
        return output_data.strip()
    else:
        return _input_data
    #print(output_data)

최종코드

url에는 후기를 크롤링할 제품 페이지의 url을 넣으면 된다.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.alert import Alert
import time
import random
from mysql_info import *
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains

site_name = '쿠팡'

driver = webdriver.Chrome()
url = "https://www.coupang.com/..."
driver.get(url)

action = ActionChains(driver)

time.sleep(3)

# 스크롤
for c in range(0,5):
    driver.find_element(By.TAG_NAME,'body').send_keys(Keys.PAGE_DOWN)
    time.sleep(1) 

# 유니크 인덱스 추가 후 수정한 쿼리
query = "INSERT IGNORE INTO derma_review_tb (product_name, review_text, review_date, site_name, url) VALUES (%s, %s, %s, %s, %s)"

random_delay = random.uniform(2, 7)

page_index = 1

unique_review_texts = set()

# for loop_i in range(1, 100):
while True:
    review_list = []
    print(f"\n--- 페이지 {page_index} 리뷰 수집 시작 ---")
    time.sleep(random_delay)

    try:
        # 최대 10초 동안 alert이 나타날 때까지 대기
        WebDriverWait(driver, 5).until(EC.alert_is_present())
        # alert 객체로 전환
        alert = Alert(driver)
        # alert 수락
        alert.accept()
    
    except TimeoutException:
        # 10초 동안 alert이 나타나지 않으면 예외 발생
        print("Alert이 나타나지 않았습니다.")
        pass
    
    # 상품평 틀
    item_elements = driver.find_element(By.CLASS_NAME, "js_reviewArticleListContainer").find_elements(By.TAG_NAME, "article")
    # enumerate => 순서가 있는 객체를 인덱스값과 함께 출력
    for review_index, item_element in enumerate(item_elements, start=1):
        # 리뷰 각각에서 텍스트(리뷰내용) 추출
        review_text_cleaned = ""
        try:
            review_text = item_element.find_element(By.CLASS_NAME, "sdp-review__article__list__review__content").text
            review_text_cleaned = " ".join(review_text.split())
        except Exception as e:
            review_text_cleaned = ""

        if review_text_cleaned and review_text_cleaned not in unique_review_texts:
            try:
                review_date = item_element.find_element(By.CLASS_NAME, "sdp-review__article__list__info__product-info__reg-date").text
                product_name = item_element.find_element(By.CLASS_NAME,"sdp-review__article__list__info__product-info__name").text
                print(f'페이지 {page_index}_리뷰 번호 {review_index}', product_name, review_text_cleaned[:500], review_date)
                review_list.append((product_name, review_text_cleaned[:500], review_date, site_name, url))
                time.sleep(random_delay)
            except Exception as e:
                print("118LINE", str(e))
        else:
            pass

    for review in review_list:
        try:
            cursor.execute(query, review)
        except mysql.connector.errors.IntegrityError:
            print("중복값 제외")

    conn.commit()

    next_page = str(page_index+1)

    try:
        # "다음" 버튼을 먼저 찾습니다.
        next_button = driver.find_element(By.CLASS_NAME, "sdp-review__article__page__next")

        # "다음" 버튼이 비활성화되었는지 확인 (비활성화 클래스명 확인 필요)
        # 웹사이트마다 클래스명이 다를 수 있으니 확인해야 합니다.
        if "disabled" in next_button.get_attribute("class"):
            print("마지막 페이지입니다. 크롤링을 종료합니다.")
            break # 루프 종료
        
        if int(next_page) % 10 == 1:
            # 11, 21, 31 페이지 등 페이지 블록을 넘길 때
            next_button.click()
            print("다음 페이지 블록으로 이동합니다.")
            time.sleep(random_delay)
            # 다음 페이지를 누르면 끝페이지로 이동해서 첫페이지 선택해줌
            # 예를 들어 10페이지 크롤링 후 다음 버튼을 누르면 20페이지로 이동해서 11페이지를 클릭해줘야 함
            driver.find_element(By.CLASS_NAME, "sdp-review__article__page__num").click()
            time.sleep(random_delay)
        else:
            
            page_elements = driver.find_elements(By.CLASS_NAME, "sdp-review__article__page__num")
            
            # 다음 페이지 번호를 클릭
            found_next_page = False
            for page_element in page_elements:
                if page_element.text == next_page:
                    page_element.click()
                    found_next_page = True
                    time.sleep(3)
                    break
            
            if not found_next_page:
                # 다음 페이지 번호가 없으면 마지막 페이지로 간주
                print("더 이상 페이지가 없습니다. 크롤링을 종료합니다.")
                break # 루프 종료


    except Exception as e:
        # "다음" 버튼이 아예 없을 경우 (마지막 페이지)
        print(f"\n다음 페이지 버튼을 찾을 수 없습니다. 크롤링을 종료합니다. 오류: {e}")
        break # 루프 종료

    time.sleep(5) # 페이지 로딩 대기
    page_index += 1

추가적인 과정은 나중에 추가할 수 있으면 추가하기

근데 속도가 좀 느리다 중간중간 대기시간을 넣다 보니.. 대기시간을 안 넣으면 사이트가 계속 막혀서 어쩔 수 없다.

진행이 안되느니 그냥 시간을 조금 더 쓰는걸로..ㅎㅎ

[MySQL] 데이터베이스 구축 및 테이블 생성

hfairy — Wed, 2 Jul 2025 03:02:27 +0900

MySQL을 기반으로 실습 진행하였으며 버전은 8.1.0이다.

(mysql --version)

데이터베이스 생성

CREATE DATABASE IF NOT EXISTS cosmetic_db;

'CREATE DATABASE'를 이용해 'cosmetic_db'라는 데이터베이스를 생성한다.

이때 중복 생성을 방지하기 위해 'IF NOT EXISTS' 옵션을 넣어 만약 'cosmetic_db'라는 데이터베이스가 존재한다면 새로 생성하지 않는다.

SHOW databases;

테이블 생성

# 어떤 db 내에서 SQL문을 실행할 것인지 설정
USE cosmetic_db;
# 테이블 생성
CREATE TABLE derma_review_tb (
    review_num int auto_increment primary key,
    review_text varchar(500),
    crawling_date datetime DEFAULT CURRENT_TIMESTAMP,
    url varchar(500)
    );

USE cosmetic_db

: 앞으로의 SQL문은 'cosmetic_db' 내에서 실행한다.

CREATE TABLE derma_review_tb

: 'derma_review_tb'라는 테이블을 생성하였다.

review_num int auto_increment primary key

: 'review_num'이라는 컬럼을 생성한다. 이 컬럼 내에는 정수형(int) 데이터가 새로운 행이 추가될 때마다 자동으로 1씩 증가( auto_increment)하여 저장되며, 이 값들은 고유한 값(primary key)을 가진다.

review_text varchar(500)

: 'review_text'라는 컬럼을 생성한다. 이 컬럼 내에는 가변 길이 문자열 데이터를 저장하며 최대 500자까지 저장할 수 있다.

crawling_date datetime DEFAULT CURRENT_TIMESTAMP

: ' crawling_date'라는 컬럼을 생성한다. 이 컬럼에는 날짜와 시간 정보(datetime)를 저장하며, 이 컬럼에 따로 값을 넣지 않으면 데이터가 저장되는 시각(DEFAULT CURRENT_TIMESTAMP)이 자동으로 입력되어 데이터 수집 시점을 기록한다.

url varchar(500)

: 'url'이라는 컬럼을 생성한다. 이 컬럼 내에는 가변 길이 문자열 데이터를 저장하며 최대 500자까지 저장할 수 있다.

컬럼 추가

ALTER TABLE derma_review_tb
ADD COLUMN site_name VARCHAR(50) after crawling_date,
ADD COLUMN product_name VARCHAR(50) after review_num,
ADD COLUMN review_date VARCHAR(50) after review_text;

ALTER TABLE derma_review_tb

: 'derma_review_tb'라는 테이블을 수정한다.

ADD COLUMN site_name VARCHAR(50) after crawling_date

: 'site_name'이라는 컬럼을 'crawling_date' 컬럼 바로 뒤에(after crawling_date) 추가한다. 데이터 타입은 VARCHAR이고 최대 50자까지의 문자열을 저장할 수 있다.

ADD COLUMN product_name VARCHAR(50) after review_num

: 'product_name'이라는 컬럼을 'review_num'컬럼 바로 뒤에(after review_num) 추가한다. 데이터 타입은 VARCHAR이고 최대 50자까지의 문자열을 저장할 수 있다.

ADD COLUMN review_date VARCHAR(50) after review_text

: 'review_date'라는 컬럼을 'review_text'컬럼 바로 뒤에(after review_text) 추가한다. 데이터 타입은 VARCHAR이고 최대 50자까지의 문자열을 저장할 수 있다.

테이블 컬럼 확인

최종적으로 생성한 테이블의 컬럼을 확인하기 위해 아래와 같이 쿼리를 작성하였다.

USE cosmetic_db;
SHOW COLUMNS FROM derma_review_tb;

각 컬럼의 목적은 아래와 같다.

review_num(primary key): 고유번호

product_name: 제품명

review_text: 리뷰 내용

review_date: 리뷰 작성 일자

crawling_date: 크롤링한 날짜 및 시간

site_name: 크롤링한 사이트 이름(쿠팡, 네이버쇼핑 등)

url: 크롤링한 사이트 url

[웹크롤링] 유튜브 숏츠 댓글 크롤링하기

hfairy — Thu, 12 Jun 2025 03:49:54 +0900

오늘은!

유튜브 쇼츠 영상에서 댓글을 크롤링하는 코드를 작성할 것이다.

MySQL 서버에 연결해서 데이터베이스를 구축하였고, HeidiSQL을 이용하면 MySQL과 연결해 훨씬 수월하게 데이터를 관리할 수 있다. 삽입이나 삭제도 쉽고 시각적으로도 보기 편하다.

하지만 쉽게 수정하다 보니 SQL 명령문을 계속 까먹어서 간단한 건 직접 쿼리를 작성하려고 노력할 것이다..ㅎㅎ

selenium이란?

selenium은 웹 브라우저 자동화 툴이다.

쉽게 말해 브라우저를 직접 실행하지 않고 원하는 기능을 코드로 입력하면 selenium의 메소드를 통해 웹 브라우저의 기능을 사용할 수 있는 것이다.

나는 파이참을 사용하고 있고, 아래 사진처럼 패키지 설치할 수 있는 메뉴가 있는데 나는 이미 설치되어 있어서 오른쪽에 'Uninstall'이라고 뜨지만 설치가 안되어 있으면 'Install'이라고 뜨니 눌러서 설치하면 된다.

다른 방법으로는 아래처럼 파이참 내부 터미널에 'pip install selenium'을 입력해서 설치할 수 있다.

이때 브라우저에 맞는 webdriver도 설치해야 하는데 나는 아래 링크에서 설치하였다.

https://googlechromelabs.github.io/chrome-for-testing/

Chrome for Testing availability

chrome-headless-shellmac-arm64https://storage.googleapis.com/chrome-for-testing-public/137.0.7151.68/mac-arm64/chrome-headless-shell-mac-arm64.zip200

googlechromelabs.github.io

나는 윈도우 64비트를 사용하고 있기 때문에 'win64' 버전을 다운받았다.

(각 운영체제에 따라 작성된 URL에 접속하면 다운로드가 실행된다.)

다운로드한 파일은 웹크롤링 코드를 저장할 폴더 안에 같이 넣어놓았다.

데이터베이스 구축

아래는 내가 구축한 DB와 table 정보이다.

DB name: youtube

table name: youtube_crawling

HeidiSQL 화면

'datetime' : 크롤링한 시간을 기록하기 위한 열

'data' : 댓글 내용을 저장할 열

'url' : 어떤 영상에서 긁어온 댓글인지 파악하기 위해 영상의 url을 저장할 열

코드작성

요즘 다이소 아이템들이 인기가 있어서 유튜브에 '다이소 추천템'이라고 검색한 후 몇 가지 영상을 선택하여 크롤링에 사용하였다.

from selenium import webdriver
import time
import mysql.connector
from selenium.webdriver import Keys
from selenium.webdriver.common.by import By

# 검색어: 다이소 추천템

url1 = "https://www.youtube.com/shorts/s6o3xpXSYFs"
url2 = "https://www.youtube.com/shorts/MfjnCiRxIu0"

url_list = [ url1, url2 ]

# CHROME 실행
driver = webdriver.Chrome()

# 테이블에 삽입할 댓글과 url 담기 위한 리스트
# url은 어떤 영상에서 크롤링한 댓글인지 파악하기 위해 수집
comment_text_list = []

# url_list 안에 있는 url 모두 접속
for url in url_list:
	# 브라우저 열기. 웹 로딩되는 시간 2초정도 대기.
    driver.get(url)
    time.sleep(2)
	
    # 댓글 버튼 클릭 -> 댓글창 띄움
    element = driver.find_element(By.ID, "comments-button").find_element(By.CLASS_NAME, "yt-spec-button-shape-next")
    driver.execute_script("arguments[0].click();", element)

    # 댓글이 로딩 3초정도 대기
    time.sleep(3)

	
    # 댓글 더보기 기능을 위해 댓글창에서 아래로 스크롤하기(PAGE_DOWN 이용)
    comment_elements = driver.find_elements(By.ID, "contents")[1]

    for scroll_i in range(1, 15):
        comment_elements.send_keys(Keys.PAGE_DOWN)
        time.sleep(0.4)

	# 댓글 내용 찾기
    comment_elements2 = comment_elements.find_elements(By.ID, "content-text")

	# 댓글 내용을 comment_text_list에 저장
    for comment_element in comment_elements2:
        comment_text_list.append([comment_element.text, url])


	# 댓글 개수 출력
    print("댓글 개수", len(comment_text_list))


driver.quit()

이 코드를 통해 댓글은 수집하였고 수집한 댓글을 테이블 내에 데이터로 저장하는 코드를 아래에 함께 작성하였다.

host = '127.0.0.1'
database = 'youtube'
user = 'root'
password = '****' # 비밀번호 입력

# MySQL 서버에 연결
conn = mysql.connector.connect(host=host, database=database, user=user, password=password)

# cursor 생성 : DB와 상호작용하여 SQL문 실행할 수 있는 환경 제공
cursor = conn.cursor()

# 데이터 삽입 쿼리 작성
query = "INSERT INTO youtube_crawling (data, url) VALUES (%s, %s)"


for comment_text in comment_text_list:
    insert_data = (comment_text[0], comment_text[1])
    cursor.execute(query, insert_data)

# commit : 변경 사항 저장하여 DB에 최종 반영됨
conn.commit()
# 연결 종료
conn.close()

여기서 잠깐.. 간혹 데이터의 길이가 테이블 생성시에 설정한 크기보다 클 때 'Data too long for column 'data' at row 1' 라는 오류가 뜰 수 있다. 이 문제를 해결하기 위해 쿼리에 전달할 'comment_text[0]'의 크기를 600으로 제한할 것이다. 변경된 코드는 아래와 같다.

host = '127.0.0.1'
database = 'youtube'
user = 'root'
password = '****' # 비밀번호 입력

# MySQL 서버에 연결
conn = mysql.connector.connect(host=host, database=database, user=user, password=password)

# cursor 생성 : DB와 상호작용하여 SQL문 실행할 수 있는 환경 제공
cursor = conn.cursor()

# 데이터 삽입 쿼리 작성
query = "INSERT INTO youtube_crawling (data, url) VALUES (%s, %s)"


for comment_text in comment_text_list:
	# data에 넣을 값의 크기 600으로 제한(600자까지만 자름)
    insert_data = (comment_text[0][:600], comment_text[1])
    cursor.execute(query, insert_data)

# commit : 변경 사항 저장하여 DB에 최종 반영됨
conn.commit()
# 연결 종료
conn.close()

코드 실행의 결과 삽입된 데이터를 확인하면 아래와 같이 잘 저장된 것을 알 수 있다.

MySQL Workbench

완성된 코드 1

from selenium import webdriver
import time
import mysql.connector
from selenium.webdriver import Keys
from selenium.webdriver.common.by import By

# 검색어: 다이소 추천템

url1 = "https://www.youtube.com/shorts/s6o3xpXSYFs"
url2 = "https://www.youtube.com/shorts/MfjnCiRxIu0"

url_list = [ url1, url2 ]

# CHROME 실행
driver = webdriver.Chrome()

# 테이블에 삽입할 댓글과 url 담기 위한 리스트
# url은 어떤 영상에서 크롤링한 댓글인지 파악하기 위해 수집
comment_text_list = []

# url_list 안에 있는 url 모두 접속
for url in url_list:
	# 브라우저 열기. 웹 로딩되는 시간 2초정도 대기.
    driver.get(url)
    time.sleep(2)
	
    # 댓글 버튼 클릭 -> 댓글창 띄움
    element = driver.find_element(By.ID, "comments-button").find_element(By.CLASS_NAME, "yt-spec-button-shape-next")
    driver.execute_script("arguments[0].click();", element)

    # 댓글이 로딩 3초정도 대기
    time.sleep(3)

	
    # 댓글창에서 아래로 스크롤하기(PAGE_DOWN 이용)
    comment_elements = driver.find_elements(By.ID, "contents")[1]

    for scroll_i in range(1, 15):
        comment_elements.send_keys(Keys.PAGE_DOWN)
        time.sleep(0.4)

	# 댓글 내용 찾기
    comment_elements2 = comment_elements.find_elements(By.ID, "content-text")

	# 댓글 내용을 comment_text_list에 저장
    for comment_element in comment_elements2:
        comment_text_list.append([comment_element.text, url])


	# 댓글 개수 출력
    print("댓글 개수", len(comment_text_list))

driver.quit()


host = '127.0.0.1'
database = 'youtube'
user = 'root'
password = '****' # 비밀번호 입력

# MySQL 서버에 연결
conn = mysql.connector.connect(host=host, database=database, user=user, password=password)

# cursor 생성 : DB와 상호작용하여 SQL문 실행할 수 있는 환경 제공
cursor = conn.cursor()

# 데이터 삽입 쿼리 작성
query = "INSERT INTO youtube_crawling (data, url) VALUES (%s, %s)"


for comment_text in comment_text_list:
	# data에 넣을 값의 크기 600으로 제한(600자까지만 자름)
    insert_data = (comment_text[0][:600], comment_text[1])
    cursor.execute(query, insert_data)

# commit : 변경 사항 저장하여 DB에 최종 반영됨
conn.commit()
# 연결 종료
conn.close()

텍스트 파일로 URL 관리하기

추가적으로 더 많은 영상에서 댓글을 크롤링하기 위해 URL을 텍스트 파일로 저장하고 파일을 읽는 방법이 있는데, 이 방법을 사용하면 코드 길이도 줄일 수 있고 더 많은 영상 주소를 저장하고 삭제하기 편리하다.

먼저, 아래와 같이 txt 파일을 생성하고 여러개의 영상 주소를 저장한다. 나는 일단 11개 정도를 작성하였다.

그리고 아래와 같이 수정해 주면 된다.

url1 = "https://www.youtube.com/shorts/s6o3xpXSYFs"
url2 = "https://www.youtube.com/shorts/MfjnCiRxIu0"

url_list = [ url1, url2 ]

↓

with open("./youtube_link.txt") as fr:
    url_list = [row.strip() for row in fr.readlines()]

완성된 코드 2

from selenium import webdriver
import time
import mysql.connector
from selenium.webdriver import Keys
from selenium.webdriver.common.by import By

# 검색어: 다이소 추천템
# 영상 링크 저장한 텍스트 파일에서 주소 읽어옴
with open("./youtube_link.txt") as fr:
    url_list = [row.strip() for row in fr.readlines()]

# CHROME 실행
driver = webdriver.Chrome()

# 테이블에 삽입할 댓글과 url 담기 위한 리스트
# url은 어떤 영상에서 크롤링한 댓글인지 파악하기 위해 수집
comment_text_list = []

# url_list 안에 있는 url 모두 접속
for url in url_list:
	# 브라우저 열기. 웹 로딩되는 시간 2초정도 대기.
    driver.get(url)
    time.sleep(2)
	
    # 댓글 버튼 클릭 -> 댓글창 띄움
    element = driver.find_element(By.ID, "comments-button").find_element(By.CLASS_NAME, "yt-spec-button-shape-next")
    driver.execute_script("arguments[0].click();", element)

    # 댓글이 로딩 3초정도 대기
    time.sleep(3)

	
    # 댓글창에서 아래로 스크롤하기(PAGE_DOWN 이용)
    comment_elements = driver.find_elements(By.ID, "contents")[1]

    for scroll_i in range(1, 15):
        comment_elements.send_keys(Keys.PAGE_DOWN)
        time.sleep(0.4)

	# 댓글 내용 찾기
    comment_elements2 = comment_elements.find_elements(By.ID, "content-text")

	# 댓글 내용을 comment_text_list에 저장
    for comment_element in comment_elements2:
        comment_text_list.append([comment_element.text, url])


	# 댓글 개수 출력
    print("댓글 개수", len(comment_text_list))

driver.quit()


host = '127.0.0.1'
database = 'youtube'
user = 'root'
password = '****' # 비밀번호 입력

# MySQL 서버에 연결
conn = mysql.connector.connect(host=host, database=database, user=user, password=password)

# cursor 생성 : DB와 상호작용하여 SQL문 실행할 수 있는 환경 제공
cursor = conn.cursor()

# 데이터 삽입 쿼리 작성
query = "INSERT INTO youtube_crawling (data, url) VALUES (%s, %s)"


for comment_text in comment_text_list:
	# data에 넣을 값의 크기 600으로 제한(600자까지만 자름)
    insert_data = (comment_text[0][:600], comment_text[1])
    cursor.execute(query, insert_data)

# commit : 변경 사항 저장하여 DB에 최종 반영됨
conn.commit()
# 연결 종료
conn.close()

[파이썬, C언어] $ 백준 - 1008번 문제 풀이

hfairy — Tue, 29 Apr 2025 03:35:40 +0900

[문제] 1008번 - A / B

정수로 A와 B를 입력받고 A / B를 출력하는 프로그램을 작성하라는 문제.

[파이썬] 정답 코드

A, B = input().split()
A = int(A)
B = int(B)

print(A / B)

[파이썬] - split() 함수

split() 함수는 특정 구분자를 기준으로 문자열을 나누어 리스트를 반환하는 함수이다.

예를 들어 위의 문제에서 입력으로 ‘1 3’을 입력했는데 여기서 1과 3이 공백(space)으로 구분되어 각각 A와 B에 삽입되기 때문에 split() 함수를 통해 1과 3을 분리해주는 것을 알 수 있다.

위의 코드에서 A와 B에 저장된 값을 확인해 보자.

A, B = input().split()
A = int(A)
B = int(B)

print('A의 값은',A, '이고, B의 값은',B, '이다.')

>> INPUT : 1 3
>> OUTPUT : A의 값은 1 이고, B의 값은 3 이다.

만약 문자열을 입력받고 ',(콤마)'로 문자를 구분하고 싶다면 어떻게 코드를 작성할 수 있을까?

s = input().split(',')
print(s)

>>INPUT : KIM,LEE,PARK,CHOI
>>OUTPUT : ['KIM', 'LEE', 'PARK', 'CHOI']

input값으로 ‘KIM,LEE,PARK,CHOI’를 입력하였고 결과적으로 s에는 ‘,(콤마)’를 기준으로 문자열을 분리하여 [‘KIM’, ‘LEE’, ‘PARK’, ‘CHOI’]의 리스트가 저장되었다.

[C언어] 정답 코드

#include <stdio.h>

int main()
{
	int A;
	int B;
	
	scanf_s("%d %d", &A, &B);
	printf("%.9f", (double)A / B);
	return 0;
}

[C언어] - 자료형(Data Type)

기본 자료형은 아래와 같다.

문자형(Character)
: char(1 byte)
정수형(Integer)
: int(4 byte)
부동 소수점(Floating Point)
: float( 4 byte | 소수점 이하 6자리), double( 8 byte | 소수점 이하 15자리)

[C언어] - 포맷 스트링

문자(Chatacter): 문자 한 글자에 대한 형식
- %c
문자열(String): 문자열에 대한 형식
- %s
정수(Integer): 정수에 대한 형식
- %u (부호 없는 10진수 정수)
- %d (10진수 정수)
- %o (8진수 정수)
- %x (16진수 정수 | %x일 경우 영어로 표기되는 부분이 소문자로, %X일 경우 영어로 표기되는 부분이 대문자로 표기됨)
부동 소수점(Floating Point)
- %e, %E (지수 표기)
- %f (부동 소수점 표기 | Floating Point)
- %lf (부동 소수점 표기 | Long Floating Point)

[DREAMHACK] cookie 풀이

hfairy — Tue, 20 Feb 2024 00:21:02 +0900

드림핵의 cookie 웹해킹 문제 중 가장 기본적인 문제이다.

* cookie: 웹에 접속할 때 서버가 사용자의 정보를 저장한 파일

- 생성된 주소로 접속하면 위와 같은 사이트에 접속된다.

- 제목이 cookie이므로 쿠키값을 변조해 로그인해야 할 가능성이 있다.

- 주어진 코드에 'guest'의 패스워드가 'guest'인 것을 알 수 있다.

- guest로 로그인하면 'Hello guest, you are not admin'라는 문장이 출력된다.

- admin으로 로그인하면 문제를 해결할 수 있을 것 같다.

- 개발자 도구에서 username을 'admin'으로 변경한다.

- 플래그를 얻었다.