6.n8n 自動化教程:抓取任何網站資料!搭配LLM讓AI自動化工作流,快速建立你的資料庫!


6.n8n 自動化教程:抓取任何網站資料!搭配LLM讓AI自動化工作流,快速建立你的資料庫!
主要步驟和功能:
  1. 網頁抓取(Web Scraping):使用名為Genii的服務,透過在URL前加上「r.i」前綴,將網頁內容轉換為大型語言模型(LLM)友好的Markdown格式。
    這個服務提供免費方案,允許使用者在限制內免費抓取大量資料。
  2. 資料提取和轉換:
    使用「資訊提取器」節點,透過JSON模式,告訴LLM需要從Markdown中提取哪些特定資訊,例如:書籍標題
    價格
    庫存情況
    圖片URL
    產品URL

    JSON模式的建立:使用類似Claude AI的工具,透過上傳網頁截圖,讓AI生成適合的JSON模式。
  3. 資料分割和載入:使用「分割」節點,將提取的資料分割成多個單獨的行,每本書籍一列。
    使用Google試算表節點,將分割後的資料自動映射並載入到指定的Google試算表中。