回顧2021！爬取12萬數(shù)據(jù)盤點熱門大事件

2022-01-29

作者：閑歡

來源：Python 技術(shù)

2021年已經(jīng)過去了，但是這一年發(fā)生了很多令人難忘的事情，相信每個人心目中都有很多感慨。

為了回顧2021年都發(fā)生了哪些大事，我打算從熱搜下手，看看2021年都有哪些熱搜事件。

大家都知道，微博熱搜是實時更新的，并且沒有歷史記錄，所以從微博的網(wǎng)站上找不到歷史的熱搜數(shù)據(jù)。我們只能另想它法了。經(jīng)過我不懈的摸索，終于找到了一個網(wǎng)站，它記錄了每日的微博實時熱搜，并且是一分鐘一次。也可以在網(wǎng)站上通過日期查詢當天的數(shù)據(jù)。

下載數(shù)據(jù)

有了目標網(wǎng)站就好說，我們想辦法從目標網(wǎng)站下載數(shù)據(jù)就好。這個網(wǎng)站提供了付費下載數(shù)據(jù)的方式。我這里為了給大家演示使用 Python 爬蟲爬取數(shù)據(jù)，就不付費下載了。

網(wǎng)站的請求也比較簡單，大家打開網(wǎng)頁的開發(fā)工具，可以很快定位到獲取請求的 URL 。這里就不贅述了，直接上代碼：

headers = { "Host": "google-api.zhaoyizhe.com", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36" } def scrapy(date): print('開始爬取%s' % date)
    url = 'https://google-api.zhaoyizhe.com/google-api/index/mon/sec?date=%s' % date try:
        time.sleep(random.randint(1, 3))
        res = requests.get(url, headers=headers).json()
        result = res['data'] return result except Exception as err:
        print(err) return None

我們定義一個爬取的函數(shù)，通過傳入日期來爬取一天的熱搜數(shù)據(jù)。整個2021年的數(shù)據(jù)我們只需要循環(huán)請求每一天即可。

整個數(shù)據(jù)下載下來一共12萬多條：

制作詞云

分析熱點事件，最好的方法就是把這些事件描述制作成詞云，突出顯示的就是最熱門的，一目了然。

def gen_wc_split_text(data_list=[], max_words=None, background_color=None, # font_path='/System/Library/Fonts/PingFang.ttc', font_path=r'C:WindowsFontssimhei.ttf',
                      output_path='', output_name='',
                      mask_path=None, mask_name=None,
                      width=400, height=200, max_font_size=100, axis='off'): stopwords = open(r'c:pworkspacemypypythontechweibohotstopwords.txt', 'r', encoding='utf-8').read().split('n')[:-1]
    words_dict = {} for data in data_list:
        text = data['topic']
        hotNumber = data['hotNumber'] if hotNumber is None:
            hotNumber = 1 all_seg = jieba.cut(text, cut_all=False) for seg in all_seg: if seg in stopwords or seg == 'unknow': continue if seg in words_dict.keys():
                words_dict[seg] += hotNumber else:
                words_dict[seg] = hotNumber # 設(shè)置一個底圖 mask = None if mask_path is not None:
        mask = np.array(Image.open(path.join(mask_path, mask_name)))

    wordcloud = WordCloud(background_color=background_color,
                          mask=mask,
                          max_words=max_words,
                          min_font_size=15,
                          max_font_size=80,
                          width=300,
                          height=400, # 如果不設(shè)置中文字體，可能會出現(xiàn)亂碼 font_path=font_path)
    myword = wordcloud.generate_from_frequencies(words_dict) # 展示詞云圖 # plt.imshow(myword) # plt.axis(axis) # plt.show() # 保存詞云圖 wordcloud.to_file(path.join(output_path, output_name))