Minnano Beta | Paaaack 目前是一個從 IG 蒐集公開的抱石 Beta 影片以方便大家查詢的網站,而從 IG 蒐集 Beta 影片的流程目前算是從全手動進步到了半自動的方式,這篇文章就是記錄一下目前半自動化的流程。
TL;DR
- 用 Puppeteer 爬各個岩館在 IG 上地標的 Recent 影片並產生 SQL
- 手動跑 SQL 把 Betas 寫進 DB
- 從網站的 editor 讀取新寫進 DB 的 Beta 並加上等級、岩點顏色、完攀日期和是否上架等資料
2. 手動跑 SQL 把 Betas 寫進 DB
這邊因為還沒有把爬蟲跟 Backend 串起來,所以是手動把 SQL 貼進 TablePlus 來寫進 DB 🤣。
3. 從網站的 editor 讀取新寫進 DB 的 Beta 並加上等級、岩點顏色、完攀日期和是否上架等資料
由於 Beta 的部分資料短時間內還無法直接透過爬蟲獲取,還是得靠我人工判斷,所以為了減少這類處理的時間,網站上有做了一區醜醜的 editor 來方便我更新 Beta 資料 😆。
大概目前的半自動化蒐集 IG 抱石 Beta 影片的流程就是這樣!