COSCUP 2020 ~ 2024 熱門技術趨勢觀察
這份觀察報告收集了 2020 ~ 2024 的所有議程的標題與簡介，分析出來的技術趨勢，以及熱門技術的關注度。
並且附上程式碼的連結 😀
寫在前頭，這份報告的分析方法絕對亂做，絕對不嚴謹，更經不起考驗。
但應是可以一定程度看出現在的技術趨勢。
資料收集
在一番追尋之後，我成功地在 COSCUP GitHub 找到原始資料跟 API，並且在這裡將原始資料爬下來。
以下是我下載資料並且簡單清理的程式碼。1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28import os
import requests
def main():
sources = {
'2024': 'https://pretalx.coscup.org/api/events/coscup-2024/talks/?format=json&limit=1000',
'2023': 'https://pretalx.coscup.org/api/events/coscup-2023/talks/?format=json&limit=1000',
'2022': 'https://pretalx.com/api/events/coscup-2022/talks/?format=json&limit=1000',
'2021': 'https://coscup.org/2021/json/session.json',
'2020': 'https://coscup.org/2020/json/session.json'
}
for year, url in sources.items():
if not os.path.exists(f'./raw_data/coscup-{year}.txt'):
r = requests.get(url)
content = process_data(r.json(), year)
with open(f'./raw_data/coscup-{year}.txt', 'w') as f:
f.write(content)
print(f'coscup-{year}.txt done')
def process_data(data, year):
# 處理資料的具體邏輯
# ...
if __name__ == '__main__':
main()
於是乎，我們得到了 2020 ~ 2024 的所有議程的標題與簡介。
至此最困難的部分就完成了。
丟給 AI 分析
接下來，我們就將這些資料丟給 chatGPT 分析。
在這裏，我們會用到以下 prompts：
請幫我分析這五年來的技術使用的比重，移除程式語言類，並使用 json 格式顯示。
請幫我檢查這些關鍵字有沒有可以改進的地方？
請幫我加上精確匹配、多語言支持、上下文理解以及權重分析，再重新分析一次，謝謝。
好，最後請幫我加上 NLP 技術再仔細分析一次。
最後，因為計數的方式，會因為每年議程數量不同而每年浮動，因此我改為百分比的方式來修正。
結果
文字雲
先來看一下這五年的文字雲，關鍵字不夠多，還是來看看吧。
不過我猜應該是做法可以再調整。
2020 ~ 2024 趨勢圖
看起來現在就是 AI 跟 Kubernetes 的天下了 😃
結論
通過觀察 2020 - 2024 年COSCUP的議程資料，我們可以觀察到以下幾個主要趨勢:
- AI 和機器學習技術正在迅速崛起，成為近兩年的主導話題之一。
這反映了整個科技行業對AI的高度關注。 - Kubernetes 和相關的雲原生技術持續受到廣泛關注，顯示了容器化和微服務架構在現代軟體開發中的重要性。
- 開源軟體和開源文化仍然是 COSCUP 的核心主題，表現了社群對開放協作的持續支持。
- 某些曾經熱門的技術(如區塊鏈)熱度有所下降，表現了技術趨勢的動態變化。
程式碼
產生文字雲跟趨勢圖的程式碼都在這裡。
https://github.com/PttCodingMan/coscup-technology-analysis