1주차/(1day)과제1_네이버+다음_키워드_뉴스_클리핑.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 1일차 과제\n",
    "\n",
    "1. 네이버 '코로나' 뉴스 클리핑\n",
    "2. 다음 '코로나' 뉴스 클리핑"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 네이버 키워드 뉴스 클리핑"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 73,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import urllib\n",
    "\n",
    "\n",
    "def naver_news_cliping(n): #keyword 검색 키워드, n 추출할 기사 개수\n",
    "    keyword = input('검색할 키워드를 입력해주세요: ')\n",
    "    \n",
    "    # Base url 생성\n",
    "    base_url = \"https://search.naver.com/\"\n",
    "\n",
    "    # search_url 생성\n",
    "    search_url = base_url + 'search.naver?query='+ urllib.parse.quote(keyword) +'&where=news&ie=utf8&sm=nws_hty'\n",
    "    print(search_url,'\\n','-'*100)\n",
    "    \n",
    "    # resp. 객체 생성->html 파싱\n",
    "    resp = requests.get(search_url)\n",
    "    html_src = resp.text\n",
    "    soup = BeautifulSoup(html_src,'html.parser') # 파싱\n",
    "    \n",
    "    # 기사 items 생성\n",
    "    # <dl> <dt><a href=\"http://www.hani.co.kr/arti/economy/economy_general/960160.html\" target=\"_blank\" class=\" _sp_each_title\" onclick=\"return goOtherCR(this, 'a=nws*h.tit&amp;r=1&amp;i=88000103_000000000000000002510977&amp;g=028.0002510977&amp;u='+urlencode(this.href));\" title=\"내년 예산 555.8조원…코로나 극복 위해 확장 재정\">내년 예산 555.8조원…<strong class=\"hl\">코로나</strong> 극복 위해 확장 재정</a></dt> <dd class=\"txt_inline\"><span class=\"_sp_each_source\">한겨레<i class=\"sprenew api_ico_pick\">언론사 선정</i></span> <span class=\"bar\"></span> 7시간 전 <span class=\"bar\"></span> <a href=\"https://news.naver.com/main/read.nhn?mode=LSD&amp;mid=sec&amp;sid1=101&amp;oid=028&amp;aid=0002510977\" target=\"_blank\" class=\"_sp_each_url\" onclick=\"return goOtherCR(this, 'a=nws*h.nav&amp;r=1&amp;i=88000103_000000000000000002510977&amp;u='+urlencode(this.href));\">네이버뉴스</a> <div class=\"scial\" id=\"sp_nws1_base\"> <span class=\"bar\"></span> <a href=\"#\" data-style=\"unity-v2\" class=\"bt_scial2 naver-splugin\" data-oninitialize=\"splugin_oninitialize('sp_nws1');\" onclick=\"goOtherTCR(this, 'a=nws*h.pplugin&amp;r=1&amp;i=88000103_000000000000000002510977&amp;u='+urlencode(this.href)); return false;\" splugin-id=\"9782526751\">보내기</a> </div> </dd> <dd><strong class=\"hl\">코로나</strong>19로 인한 경기 부진으로 내년 국세수입이 282조8천억원으로 올해보다 3.1%(9조2천억원)나 줄어들... <strong class=\"hl\">코로나</strong>19 극복을 위해 내년까지 확장적 재정 기조를 유지하고, 이후 경제회복 추이에 따라 총지출 증가율을...</dd> <dd> <ul class=\"relation_lst\"> <li> <span class=\"ico_bu\"></span> <a href=\"http://news.kmib.co.kr/article/view.asp?arcid=0014964772&amp;code=61141111&amp;cp=nv\" target=\"_blank\" onclick=\"return goOtherCR(this, 'a=nws*i.tit&amp;r=2&amp;i=8800006F_000000000000000001357531&amp;g=005.0001357531&amp;u='+urlencode(this.href));\" title=\"코로나19 극복 위해 역대 최대 확장재정…내년 예산 556조\"><strong class=\"hl\">코로나</strong>19 극복 위해 역대 최대 확장재정…내년 예산 556조</a> <span class=\"txt_sinfo\"> <span class=\"press\" title=\"국민일보\">국민일보<i class=\"sprenew api_ico_pick\">언론사 선정</i></span> <span class=\"bar\"></span> 7시간 전 <span class=\"bar\"></span><a href=\"https://news.naver.com/main/read.nhn?mode=LSD&amp;mid=sec&amp;sid1=101&amp;oid=005&amp;aid=0001357531\" target=\"_blank\" class=\"_sp_each_url\" onclick=\"return goOtherCR(this, 'a=nws*i.nav&amp;r=2&amp;i=8800006F_000000000000000001357531&amp;u='+urlencode(this.href));\">네이버뉴스</a> </span> </li> <li> <span class=\"ico_bu\"></span> <a href=\"https://news.imaeil.com/Politics/2020090108403002981\" target=\"_blank\" onclick=\"return goOtherCR(this, 'a=nws*i.tit&amp;r=3&amp;i=880000C1_000000000000000000661988&amp;g=088.0000661988&amp;u='+urlencode(this.href));\" title=\"코로나 극복 확장재정… 내년 예산 556조, 올해보다 8.5%↑\"><strong class=\"hl\">코로나</strong> 극복 확장재정… 내년 예산 556조, 올해보다 8.5%↑</a> <span class=\"txt_sinfo\"> <span class=\"press\" title=\"매일신문\">매일신문<i class=\"sprenew api_ico_pick\">언론사 선정</i></span> <span class=\"bar\"></span> 7시간 전 <span class=\"bar\"></span><a href=\"https://news.naver.com/main/read.nhn?mode=LSD&amp;mid=sec&amp;sid1=100&amp;oid=088&amp;aid=0000661988\" target=\"_blank\" class=\"_sp_each_url\" onclick=\"return goOtherCR(this, 'a=nws*i.nav&amp;r=3&amp;i=880000C1_000000000000000000661988&amp;u='+urlencode(this.href));\">네이버뉴스</a> </span> </li> </ul> </dd> </dl>\n",
    "    news_items = soup.select('dl')\n",
    "    print('기사는 ',len(news_items),'개')\n",
    "    print(type(news_items))\n",
    "    \n",
    "    \n",
    "    # n개까지 \n",
    "    for item in news_items[3:3+n]:\n",
    "        ###\n",
    "        #네이버는 기사가 담겨있는 주성분이 'dl'인데 페이지 기본 구성 중에 <dl>이 있어서 앞의 3개를 제외해야함(기사가 아님)\n",
    "        ###\n",
    "        \n",
    "        # 제목 수집\n",
    "        # <a href=\"http://www.hani.co.kr/arti/economy/economy_general/960160.html\" target=\"_blank\" class=\" _sp_each_title\" \n",
    "        news_title = item.find('a',attrs={'class':'_sp_each_title'}).getText()\n",
    "        print(news_title)\n",
    "        \n",
    "        # 링크 수집\n",
    "        # <a href=\"https://news.naver.com/main/read.nhn?mode=LSD&amp;mid=sec&amp;sid1=101&amp;oid=028&amp;aid=0002510977\" target=\"_blank\" class=\"_sp_each_url\"\n",
    "        link = item.find('a',{'class':'_sp_each_url'}).get('href')\n",
    "        print(link)\n",
    "    \n",
    "        # 내용 수집\n",
    "        # <dd><strong class=\"hl\">코로나</strong>19로 인한 경기 부진으로 내년 국세수입이 282조8천억원으로 올해...\n",
    "        news_content = item.find('dd',{'class':None}).text\n",
    "        print(news_content)\n",
    "        \n",
    "        # 출처 수집\n",
    "        # <span class=\"_sp_each_source\">한겨레<i class=\"sprenew api_ico_pick\">언론사 선정</i></span>\n",
    "        news_agency = item.find('span',attrs={'class':'_sp_each_source'}).getText()\n",
    "        print(news_agency)\n",
    "        print()\n",
    "        \n",
    "        '''# 날짜 및 시간 수집\n",
    "        news_reporting = item.find('span',attrs={'class':'bar'})\n",
    "        news_reporting_datetime = news_reporting.get('datetime').split('T')\n",
    "    \n",
    "        news_reporting_date = news_reporting_datetime[0]      #날짜\n",
    "        news_reporting_time = news_reporting_datetime[1][:-1] #시간\n",
    "        print(news_reporting_date)\n",
    "        print(news_reporting_time)'''"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### '코로나' 뉴스 5개 클리핑"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "검색할 키워드를 입력해주세요: 코로나\n",
      "https://search.naver.com/search.naver?query=%EC%BD%94%EB%A1%9C%EB%82%98&where=news&ie=utf8&sm=nws_hty \n",
      " ----------------------------------------------------------------------------------------------------\n",
      "기사는  13 개\n",
      "<class 'bs4.element.ResultSet'>\n",
      "코로나19 신규확진 235명…누적확진자 2만명 넘었다\n",
      "https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=102&oid=028&aid=0002510988\n",
      "1일 국내 코로나19 누적 확진자가 2만명을 넘어섰다. 지난 1월20일 국내 첫 코로나19 확진자가 발생한 이후 7개월여 만이다. 위중하거나 중증인 환자도 하루 만에 크게 늘어 100명을 넘었다. 중앙방역대책본부...\n",
      "한겨레언론사 선정\n",
      "\n",
      "“코로나 이후 어떤 삶 살지…” 文대통령, 독서의 달에 추천한 책은?\n",
      "https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=100&oid=020&aid=0003306701\n",
      "문재인 대통령이 9월 독서의 달을 맞아 ‘코로나 사피엔스’, ‘오늘부터의 세계’, ‘리더라면 정조처럼’... 문 대통령은 최재천·장하준 교수 등이 쓴 ‘코로나 사피엔스’와 제러미 리프킨의 ‘오늘부터 세계’를...\n",
      "동아일보언론사 선정\n",
      "\n",
      "코로나19 확산에 전국 8천52개교 등교 못 해…또 최다 기록(종합)\n",
      "https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=102&oid=001&aid=0011852870\n",
      "학생 확진자 어제 11명 증가…교직원은 추가 확진 없어 직업계고 실습생 건강상태 하루 3회 모니터링…실습장 방역수칙 위반 시 학생 복교 박성진 김수현 기자 = 신종 코로나바이러스 감염증(코로나19) 재확산 여파로...\n",
      "연합뉴스\n",
      "\n",
      "8월 수출 396억 달러…코로나19에도 반도체 ‘선전’\n",
      "https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=101&oid=374&aid=0000219724\n",
      "이는 코로나19의 영향이 본격화된 이후 최소 감소 폭입니다. 수입액은 전년 대비 16% 줄어든 355억 달러여서... 특히, 반도체는 올해 들어 누적 기준으로 플러스로 전환해 코로나19 상황에서도 가장 선전하고 있는...\n",
      "SBS CNBC언론사 선정\n",
      "\n",
      "방역당국 \"코로나 위·중증환자 처음으로 세 자릿수\"(종합)\n",
      "https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=102&oid=366&aid=0000581489\n",
      "국내 코로나 바이러스 감염증 위·중증환자가 통계를 집계한 이후 처음으로 세 자릿수를 넘었다. 권준욱 중앙방역대책본부 부본부장(국립보건연구원장)은 1일 정례브리핑에서 \"현재 총 104명의 (코로나) 위·중증환자가...\n",
      "조선비즈언론사 선정\n",
      "\n"
     ]
    }
   ],
   "source": [
    "naver_news_cliping(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 다음 키워드 뉴스 클리핑"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import urllib\n",
    "\n",
    "\n",
    "def daum_news_cliping(n): #keyword 검색 키워드, n 추출할 기사 개수\n",
    "    keyword = input('검색할 키워드를 입력해주세요: ')\n",
    "\n",
    "    # Base url 생성\n",
    "    base_url = \"https://search.daum.net/\"\n",
    "\n",
    "    # search_url 생성\n",
    "    search_url = base_url + 'search?w=tot&DA=23A&rtmaxcoll=NNS&q='+ urllib.parse.quote(keyword)\n",
    "    print(search_url)\n",
    "    \n",
    "    # resp. 객체 생성->html 파싱\n",
    "    resp = requests.get(search_url)\n",
    "    html_src = resp.text\n",
    "    soup = BeautifulSoup(html_src,'html.parser') # 파싱\n",
    "    \n",
    "    # 기사 items 생성\n",
    "    # <div class=\"cont_inner\"> \n",
    "    news_items = soup.select('div[class=\"cont_inner\"]')\n",
    "    print('기사는 ',len(news_items),'개')\n",
    "    print(type(news_items),'\\n','-'*100)\n",
    "    \n",
    "    \n",
    "    # n개까지 \n",
    "    for item in news_items[:n]:  \n",
    "        \n",
    "        # 제목 수집\n",
    "        # <div class=\"wrap_tit mg_tit\"> \n",
    "        news_title = item.find('a',attrs={'class':'f_link_b'}).getText()\n",
    "        print(news_title)\n",
    "        \n",
    "        # 링크 수집\n",
    "        # <a class=\"f_link_b\" href=\"http://v.media.daum.net/v/20200901182008688?f=o\" ...\n",
    "        link = item.find('a',{'class':'f_link_b'}).get('href')\n",
    "        print(link)\n",
    "    \n",
    "        # 내용 수집\n",
    "        # <p class=\"f_eb desc\">\n",
    "        news_content = item.find('p',{'class':'f_eb desc'}).text\n",
    "        print(news_content)\n",
    "        print('-'*100)\n",
    "        \n",
    "        '''# 출처 수집\n",
    "        #news_agency = item.find('span',attrs={'class':'txt_bar'}).getText()\n",
    "        #print(news_agency)\n",
    "        \n",
    "        # 날짜 및 시간 수집\n",
    "        news_reporting = item.find('span',attrs={'class':'f_nb date'})\n",
    "        news_reporting_datetime = news_reporting.get('datetime').split('T')\n",
    "    \n",
    "        news_reporting_date = news_reporting_datetime[0]      #날짜\n",
    "        news_reporting_time = news_reporting_datetime[1][:-1] #시간\n",
    "        print(news_reporting_date)\n",
    "        print(news_reporting_time)'''"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### '코로나' 뉴스 5개 클리핑"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "검색할 키워드를 입력해주세요: 코로나\n",
      "https://search.daum.net/search?w=tot&DA=23A&rtmaxcoll=NNS&q=%EC%BD%94%EB%A1%9C%EB%82%98\n",
      "기사는  30 개\n",
      "<class 'bs4.element.ResultSet'> \n",
      " ----------------------------------------------------------------------------------------------------\n",
      "코로나發 디지털화..대기업 노동자 77% \"일자리 줄어들라\"\n",
      "http://v.media.daum.net/v/20200901182555819?f=o\n",
      "[서울=뉴시스]전신 기자 = 신종 코로나바이러스 감염증(코로나19) 확산 사태로 대다수 기업들이 면접 등 채용일정을 연기는 가운데 3일 서울 한 대학교 취업광장 부스가 텅...\n",
      "----------------------------------------------------------------------------------------------------\n",
      "코로나 검사 조작?..가짜뉴스 처벌 수위는\n",
      "http://v.media.daum.net/v/20200901181525602?f=o\n",
      "[앵커] 정부가 코로나19 가짜뉴스에 강력 대응하기로 했습니다. 가짜뉴스를 만들거나 유포할 경우 처벌수위는 어느 정도나 될까요. 홍정원 기자가 알아봤습니다. [기자...\n",
      "----------------------------------------------------------------------------------------------------\n",
      "\"코로나검사 받아라\" 행정명령 종료..강원도, 미이행자 고발하나\n",
      "http://v.media.daum.net/v/20200901182008688?f=o\n",
      "폭증에 붐비는 선별진료소 (원주=연합뉴스) 양지웅 기자 = 최근 강원 원주지역에서 코로나19 확진자가 무더기로 발생하자 21일 원주시보건소 선별진료소가 검사 대기자들로...\n",
      "----------------------------------------------------------------------------------------------------\n",
      "‘코로나 싹쓰리’ 영상제 눈길 끄네\n",
      "https://cp.news.search.daum.net/p/96895507\n",
      "‘지구는 우리가 지킨다. 깨끗한 세상을 물려줍시다.’ 코로나19시대 청소년들이 제작한 특별한 영상제가 진행되고 있어 청소년들의 관심이 뜨겁다. 광산구청소년수련관이...\n",
      "----------------------------------------------------------------------------------------------------\n",
      "연예인 코로나 확진자\n",
      "http://lifecinema.tistory.com/530\n",
      "현재 연예계 및 방송가에서도 코로나 확진이 일어나고 있습니다. 이에 따라 각 드라마 촬영중단, 영화 촬영이 중단되는 사태가 발생하고 있습니다. 먼저 연예계 코로나...\n",
      "----------------------------------------------------------------------------------------------------\n"
     ]
    }
   ],
   "source": [
    "daum_news_cliping(5)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": true
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}