graph gpt

GraphGPT：使用生成式預訓練 Transformer 進行圖學習

該儲存庫是 PyTorch 中「GraphGPT：使用生成式預訓練 Transformers 進行圖學習」的官方實作。

GraphGPT：使用生成式預訓練 Transformer 進行圖學習

趙其芳、任衛東、李天宇、徐瀟瀟、劉紅

更新：

2024 年 10 月 13 日

1. v0.4.0 發布。檢查CHANGELOG.md了解詳細資訊。
2. 在 3 個大型 ogb 資料集中實現 SOTA：
   • PCQM4M-v2（無 3D）：0.0802（之前的 SOTA 0.0821）
   • ogbl-ppa：68.76（之前的 SOTA 65.24）
   • ogbl-引用2：91.15（之前的SOTA 90.72）

2024年8月18日

1. v0.3.1 發布。檢查CHANGELOG.md了解詳細資訊。

2024年7月9日

1. v0.3.0 發布。

2024年3月19日

1. v0.2.0 發布。
2. 為圖級地圖樣式資料集實作permute_nodes ，以增加歐拉路徑的變化，並產生更好、更穩健的結果。
3. 加入StackedGSTTokenizer使得語義（即節點/邊屬性）標記可以與結構標記堆疊在一起，並且序列的長度將減少很多。
4. 重構程式碼。

2024年1月23日

1. v0.1.1，修復common-io包的bug。

2024年1月3日

1. 程式碼的初始發布。

未來的方向

縮放法則：GraphGPT 模型的縮放限制是多少？

• 眾所周知，用文字資料訓練的GPT可以擴展到數千億個參數，並且不斷提高其能力。
• 文字資料可以提供數萬億個標記，並且具有非常高的複雜性，並且它擁有大量的知識，包括社會知識和自然知識。
• 相較之下，沒有節點/邊屬性的圖資料僅包含結構訊息，與文字資料相比，結構資訊相當有限。結構背後的大多數隱藏資訊（例如，度數、子結構的數量等）可以使用像networkx這樣的套件來精確計算。因此，來自圖結構的資訊可能無法支援模型大小的縮放，直到數十億個參數。
  • 我們對各種大型圖表資料集的初步實驗表明，我們可以將 GraphGPT 擴展到 4 億+ 參數，同時提高效能。但我們無法進一步改善結果。這可能是由於我們的實驗不夠充分。但這可能是圖數據固有的限制所造成的。
• 具有節點/邊屬性的大型圖資料集（無論是一個大圖還是大量小圖）可能能夠為我們提供足夠的資訊來訓練大型 GraphGPT 模型。即便如此，一個圖資料集可能還不夠，我們可能需要收集各種圖資料集來訓練一個 GraphGPT。
  • 這裡的問題是如何為來自各種圖表資料集的邊/節點屬性定義通用分詞器。

高品質圖資料：用於訓練 GraphGPT 執行一般任務的高品質圖資料是什麼？

• 例如，如果我們想訓練一個模型來完成各種分子理解和生成任務，我們應該使用什麼樣的資料？
  • 根據我們的初步調查，我們將 ZINC (4.6M) 和 CEPDB (2.3M) 加入預訓練中，在針對同光間隙預測任務微調 PCQM4M-v2 時沒有觀察到任何增益。可能的原因如下：
    • #結構#分子圖背後的圖形模式相對簡單。
      • 像鍊或 5/6 節點環這樣的圖形模式非常常見。
      • 每個節點平均有 2 個邊，這表示原子平均有 2 個鍵。
    • #語意#建構有機小分子的化學規則很簡單：碳原子有4個鍵，氮原子有3個鍵，氧原子有2個鍵，氫原子有1個鍵，依此類推。簡單來說，只要滿足原子的鍵數，就可以產生任何分子。
    • 結構和語義的規則都非常簡單，即使是中等模型也可以從中等規模的資料集中學習。所以增加額外的數據並沒有幫助。我們使用 3.7M 分子資料預訓練小型/中型/基礎/大型模型，它們的損失非常接近，顯示在預訓練階段擴大模型大小的收益有限。
• 其次，如果我們想為任何類型的圖結構理解任務訓練一個模型，我們應該使用什麼樣的資料？
  • 我們應該使用來自社交網絡、引文網絡等的真實圖數據，還是只使用合成圖數據，例如隨機鄂爾多斯-仁義圖？
  • 我們的初步實驗表明，使用隨機圖預訓練GraphGPT有助於模型理解圖結構，但不穩定。我們懷疑這與預訓練和微調階段的圖結構分佈有關。例如，如果每個節點的邊數相似，節點數相似，那麼預訓練和微調範式效果很好。
  • #通用性# 那麼，如何訓練 GraphGPT 模型來普遍理解任何圖結構呢？
• 這又回到了先前關於縮放定律的問題：什麼是合適的、高品質的圖數據來不斷擴展 GraphGPT，使其能夠很好地完成各種圖任務？

Few-shot：GraphGPT 能否獲得 Few-shot 能力？

• 如果可以的話，該如何設計訓練資料讓GraphGPT能夠學習呢？
• 從我們對 PCQM4M-v2 資料集的初步實驗來看，觀察到不少鏡頭學習能力！但這並不意味著不能。可能是由於以下原因：
  • 模型不夠大。我們使用具有約 100M 參數的基本模型。
  • 訓練資料不夠。我們只使用 370 萬個分子，這僅提供有限的訓練標記。
  • 訓練資料的格式不適合模型獲得少樣本能力。

概述：

我們提出了 GraphGPT，這是一種透過自監督產生預訓練圖歐拉變換器（GET）進行圖學習的新模型。我們首先介紹 GET，它由一個普通的 Transformer 編碼器/解碼器主幹和一個轉換組成，該轉換將每個圖或取樣子圖轉換為使用歐拉路徑可逆地表示節點、邊和屬性的標記序列。然後，我們使用下一個令牌預測 (NTP) 任務或計畫的屏蔽令牌預測 (SMTP) 任務來預先訓練 GET。最後，我們根據監督任務對模型進行微調。這種直觀而有效的模型在大規模分子資料集 PCQM4Mv2、蛋白質-蛋白質關聯資料集 ogbl-ppa 上實現了優於或接近最先進的圖形、邊緣和節點級任務的結果、來自開放圖基準(OGB ) 的引文網絡資料集ogbl-itation2 和ogbn-蛋白質資料集。此外，生成式預訓練使我們能夠訓練 GraphGPT 高達 2B+ 的參數，並且性能不斷提高，這超出了 GNN 和先前的圖轉換器的能力。

圖到序列

將歐拉圖轉換為序列後，有多種不同的方法將節點和邊屬性附加到序列。我們將這些方法命名為short 、 long和prolonged 。

給定圖，我們首先對其進行歐拉化，然後將其轉換為等價序列。然後，我們循環地重新索引節點。

假設圖有1個節點屬性和1個邊屬性，則short 、 long 、 prolong法如上圖所示。

上圖中， n1 、 n2和e1表示節點和邊屬性的標記， [p]表示填充標記。

循環節點重新索引

重新索引節點序列的一種直接方法是從 0 開始並遞增地新增 1。這樣，小索引的 token 將得到充分的訓練，而大索引則不會。為了255這個問題，我們提出了cyclical re-index ，它以給定範圍內的隨機數開始，例如[0, 255] ，然後遞增 1。

結果

過時了。即將更新。

圖級任務：PCQM4M-v2 資料集

邊緣級任務：ogbl-ppa 資料集

節點級任務：ogbn-蛋白質資料集

安裝

• 克隆這個儲存庫

git clone https://github.com/alibaba/graph-gpt.git

• 安裝requirements.txt中的依賴項（使用Anaconda，在GPU V100和A100上使用py38、pytorch-1131和CUDA-11.7、11.8和12.1進行測試）

conda create -n graph_gpt python=3.8 pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
conda activate graph_gpt
cd graph-gpt
pip install -r ./requirements.txt
pip install torch-scatter torch-sparse -f https://data.pyg.org/whl/torch-1.13.1+cpu.html
sudo apt-get install bc

數據集

資料集是使用 python 套件 ogb 下載的。

當您執行./examples中的腳本時，將自動下載資料集。

然而，資料集PCQM4M-v2很大，下載和預處理可能會出現問題。我們建議cd ./src/utils/和python dataset_utils.py分別下載和預處理資料集。

跑步

1. 預訓練：修改./examples/graph_lvl/pcqm4m_v2_pretrain.sh中的參數，例如dataset_name 、 model_name 、 batch_size 、 workerCount等，然後運行./examples/graph_lvl/pcqm4m_v2_pretrain.sh .
   • 若要執行玩具範例，請直接執行./examples/toy_examples/reddit_pretrain.sh 。
2. 微調：修改./examples/graph_lvl/pcqm4m_v2_supervised.sh中./examples/graph_lvl/pcqm4m_v2_supervised.sh參數，例如dataset_name 、 model_name 、 batch_size 、 workerCount 、 pretrain_cpt等，然後執行下游任務進行微調。
   • 若要執行玩具範例，請直接執行./examples/toy_examples/reddit_supervised.sh 。

程式碼規範

預提交

• 詳情請查看官方網站
• .pre-commit-config.yaml ：為 python 建立包含以下內容的文件

  •  repos :
    -   repo : https://github.com/pre-commit/pre-commit-hooks
        rev : v4.4.0
        hooks :
        -   id : check-yaml
        -   id : end-of-file-fixer
        -   id : trailing-whitespace
    -   repo : https://github.com/psf/black
        rev : 23.7.0
        hooks :
        -   id : black

• pre-commit install ：將 pre-commit 安裝到你的 git hooks 中。
  • 預提交現在將在每次提交時運行。
  • 每次使用預提交克隆專案時，執行pre-commit install應該始終是您要做的第一件事。
• pre-commit run --all-files ：在儲存庫上執行所有預提交掛鉤
• pre-commit autoupdate ：自動將您的掛鉤更新到最新版本
• git commit -n ：可以使用以下命令停用特定提交的預提交檢查

引文

如果您發現這項工作有用，請引用以下論文：

@article{zhao2024graphgpt,
  title={GraphGPT: Graph Learning with Generative Pre-trained Transformers},
  author={Zhao, Qifang and Ren, Weidong and Li, Tianyu and Xu, Xiaoxiao and Liu, Hong},
  journal={arXiv preprint arXiv:2401.00529},
  year={2024}
}

接觸

趙其芳 ([email protected])

衷心感謝您對我們工作的建議！

執照

根據 MIT 許可證發布（參見LICENSE ）：

 Ali-GraphGPT-project is an AI project on training large scale transformer decoder with graph datasets,
developed by Alibaba and licensed under the MIT License.