How I Collect Bouldering Beta Videos From IG Semi-Automatically | Minnano Beta | Paaaack

Longdong, Taiwan

Minnano Beta | Paaaack 目前是一個從 IG 蒐集公開的抱石 Beta 影片以方便大家查詢的網站，而從 IG 蒐集 Beta 影片的流程目前算是從全手動進步到了半自動的方式，這篇文章就是記錄一下目前半自動化的流程。

TL;DR

1. 用 Puppeteer 爬各個岩館在 IG 上地標的 Recent 影片並產生 SQL
2. 手動跑 SQL 把 Betas 寫進 DB
3. 從網站的 editor 讀取新寫進 DB 的 Beta 並加上等級、岩點顏色、完攀日期和是否上架等資料

1. 用 Puppeteer 爬各個岩館在 IG 上地標的 Recent 影片並產生 SQL

幾乎每間岩館在 IG 上都有地標，而台灣的岩友也滿常會把 Beta 影片加上岩館的地標，所以從岩館地標的 IG 頁上就能找到最近上傳的 Beta 影片，下圖是以 台南的嗨翻岩館 為例。

接著透過用 Puppeteer 寫的爬，過濾出 Reels 影片，找出影片的 id 和日期，最後產生 SQL。

2. 手動跑 SQL 把 Betas 寫進 DB

這邊因為還沒有把爬蟲跟 Backend 串起來，所以是手動把 SQL 貼進 TablePlus 來寫進 DB 🤣。

3. 從網站的 editor 讀取新寫進 DB 的 Beta 並加上等級、岩點顏色、完攀日期和是否上架等資料

由於 Beta 的部分資料短時間內還無法直接透過爬蟲獲取，還是得靠我人工判斷，所以為了減少這類處理的時間，網站上有做了一區醜醜的 editor 來方便我更新 Beta 資料 😆。

大概目前的半自動化蒐集 IG 抱石 Beta 影片的流程就是這樣！