回顧2021！爬取12萬(wàn)數(shù)據(jù)盤(pán)點(diǎn)熱門(mén)大事件

2022-01-29

作者：閑歡

來(lái)源：Python 技術(shù)

2021年已經(jīng)過(guò)去了，但是這一年發(fā)生了很多令人難忘的事情，相信每個(gè)人心目中都有很多感慨。

為了回顧2021年都發(fā)生了哪些大事，我打算從熱搜下手，看看2021年都有哪些熱搜事件。

大家都知道，微博熱搜是實(shí)時(shí)更新的，并且沒(méi)有歷史記錄，所以從微博的網(wǎng)站上找不到歷史的熱搜數(shù)據(jù)。我們只能另想它法了。經(jīng)過(guò)我不懈的摸索，終于找到了一個(gè)網(wǎng)站，它記錄了每日的微博實(shí)時(shí)熱搜，并且是一分鐘一次。也可以在網(wǎng)站上通過(guò)日期查詢當(dāng)天的數(shù)據(jù)。

回顧2021！爬取12萬(wàn)數(shù)據(jù)盤(pán)點(diǎn)熱門(mén)大事件

下載數(shù)據(jù)

有了目標(biāo)網(wǎng)站就好說(shuō)，我們想辦法從目標(biāo)網(wǎng)站下載數(shù)據(jù)就好。這個(gè)網(wǎng)站提供了付費(fèi)下載數(shù)據(jù)的方式。我這里為了給大家演示使用 Python 爬蟲(chóng)爬取數(shù)據(jù)，就不付費(fèi)下載了。

網(wǎng)站的請(qǐng)求也比較簡(jiǎn)單，大家打開(kāi)網(wǎng)頁(yè)的開(kāi)發(fā)工具，可以很快定位到獲取請(qǐng)求的 URL 。這里就不贅述了，直接上代碼：

headers = { "Host": "google-api.zhaoyizhe.com", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36" } def scrapy(date): print('開(kāi)始爬取%s' % date)
    url = 'https://google-api.zhaoyizhe.com/google-api/index/mon/sec?date=%s' % date try:
        time.sleep(random.randint(1, 3))
        res = requests.get(url, headers=headers).json()
        result = res['data'] return result except Exception as err:
        print(err) return None

我們定義一個(gè)爬取的函數(shù)，通過(guò)傳入日期來(lái)爬取一天的熱搜數(shù)據(jù)。整個(gè)2021年的數(shù)據(jù)我們只需要循環(huán)請(qǐng)求每一天即可。

整個(gè)數(shù)據(jù)下載下來(lái)一共12萬(wàn)多條：

制作詞云

分析熱點(diǎn)事件，最好的方法就是把這些事件描述制作成詞云，突出顯示的就是最熱門(mén)的，一目了然。

def gen_wc_split_text(data_list=[], max_words=None, background_color=None, # font_path='/System/Library/Fonts/PingFang.ttc', font_path=r'C:WindowsFontssimhei.ttf',
                      output_path='', output_name='',
                      mask_path=None, mask_name=None,
                      width=400, height=200, max_font_size=100, axis='off'): stopwords = open(r'c:pworkspacemypypythontechweibohotstopwords.txt', 'r', encoding='utf-8').read().split('n')[:-1]
    words_dict = {} for data in data_list:
        text = data['topic']
        hotNumber = data['hotNumber'] if hotNumber is None:
            hotNumber = 1 all_seg = jieba.cut(text, cut_all=False) for seg in all_seg: if seg in stopwords or seg == 'unknow': continue if seg in words_dict.keys():
                words_dict[seg] += hotNumber else:
                words_dict[seg] = hotNumber # 設(shè)置一個(gè)底圖 mask = None if mask_path is not None:
        mask = np.array(Image.open(path.join(mask_path, mask_name)))

    wordcloud = WordCloud(background_color=background_color,
                          mask=mask,
                          max_words=max_words,
                          min_font_size=15,
                          max_font_size=80,
                          width=300,
                          height=400, # 如果不設(shè)置中文字體，可能會(huì)出現(xiàn)亂碼 font_path=font_path)
    myword = wordcloud.generate_from_frequencies(words_dict) # 展示詞云圖 # plt.imshow(myword) # plt.axis(axis) # plt.show() # 保存詞云圖 wordcloud.to_file(path.join(output_path, output_name))