정식 ★★☆☆☆ 약 25분 v1 · 2026-04-11

웹 크롤링 스킬 구조 — 뉴스 선반 만들기

정해진 뉴스 사이트 N곳을 매일 긁어 '뉴스 선반'에 쌓고 중복 제거·요약하는 Part 5 크롤링 패턴 교보재

WOW 포인트

✦ URL 리스트 하나만 바꾸면 같은 스킬이 다른 도메인에 그대로 적용
✦ 중복 제거 · 요약 · 아카이빙이 하나의 파이프라인
✦ Track B 일일 브리핑 / Track D 세법 체인의 공통 기반

사용 스킬

선행 지식

· Part 2 market-snapshot-card 체험
· Part 4 오케스트레이션 랩 완료 (권장)
· 웹 URL·HTML 기본 개념

대상 직무

· 리서치 · 시장 동향 담당
· Part 5를 진행하는 모든 참가자

더미 데이터 .moai/fixtures/gunin-gongjehoe/news-shelf

왜 이 실습인가

"매일 아침 뉴스 사이트 돌아다니며 복붙하던 일"이 한 마디로 끝나는 경험을 합니다. 여기서 만든 패턴이 그대로 Track B 일일 브리핑, Track D 세법 개정 체인으로 확장됩니다.

시연 지침

Claude에 이 한 줄을 입력하세요

매일경제·한국경제·조선비즈에서 오늘자 경제 뉴스 상위 3건씩 수집해서, 각 기사를 제목·3줄 요약·원문 링크로 정리하고 shelf/오늘날짜.md 에 저장해줘

실행 결과

shelf/2026-04-14.md — 9건의 뉴스 요약 (사이트별 3건)
각 항목: 제목 · 발행일 · 3줄 요약 · 원문 링크
사이트 접근 실패 시 해당 사이트만 건너뛰고 나머지 진행

핵심 스킬 호출 흐름

flowchart LR
  A["한 줄 지시"] --> B["web-reader로
  3개 사이트 수집"]
  B --> C["기사별 3줄 요약"]
  C --> D["shelf/날짜.md 저장"]

이것이 되면 이런 것도 됩니다

사이트를 바꾸면 → 경쟁사 모니터링, 법령 고시 수집
스케줄을 걸면 → 매일 08:50 자동 브리핑 (Track B)
고객사 DB를 연결하면 → 세법 개정 맞춤 안내 (Track D)

선행 스킬

web-reader — URL로부터 본문·제목·발행일을 구조화해 반환

변경 이력

v1 (2026-04-11): 최초 작성 — Claude@IGM Cohort 1 Part 5 크롤링 패턴용