graph gpt

GraphGPT: การเรียนรู้กราฟด้วย Transformers ที่ได้รับการฝึกอบรมล่วงหน้าแบบ Generative

พื้นที่เก็บข้อมูลนี้เป็นการใช้งานอย่างเป็นทางการของ “GraphGPT: การเรียนรู้กราฟด้วย Transformers ที่ได้รับการฝึกอบรมล่วงหน้าแบบ Generative” ใน PyTorch

GraphGPT: การเรียนรู้กราฟด้วย Transformers ที่ได้รับการฝึกอบรมล่วงหน้าแบบ Generative

ฉีฟาง จ้าว, เว่ยตง เหริน, เทียนหยู่ ลี่, เสี่ยวเซียว ซู, หง หลิว

อัปเดต:

10/13/2024

1. v0.4.0 เปิดตัวแล้ว ตรวจสอบ CHANGELOG.md เพื่อดูรายละเอียด
2. บรรลุ SOTA ในชุดข้อมูล OGB ขนาดใหญ่ 3 ชุด:
   • PCQM4M-v2 (ไม่มี 3D): 0.0802 (SOTA ก่อนหน้า 0.0821)
   • ogbl-ppa: 68.76 (SOTA ก่อนหน้า 65.24)
   • ogbl-citation2: 91.15 (SOTA ก่อนหน้า 90.72)

18/08/2024

1. v0.3.1 เปิดตัวแล้ว ตรวจสอบ CHANGELOG.md เพื่อดูรายละเอียด

07/09/2024

1. v0.3.0 เปิดตัวแล้ว

19/03/2024

1. v0.2.0 เปิดตัวแล้ว
2. ใช้ permute_nodes สำหรับชุดข้อมูลรูปแบบแผนที่ระดับกราฟ เพื่อเพิ่มความแปรผันของเส้นทาง Eulerian และให้ผลลัพธ์ที่ดีขึ้นและแข็งแกร่ง
3. เพิ่ม StackedGSTTokenizer เพื่อให้โทเค็นความหมาย (เช่น โหนด/edge attrs) สามารถซ้อนกันร่วมกับโทเค็นโครงสร้างได้ และความยาวของลำดับจะลดลงอย่างมาก
4. รหัสรีแฟคเตอร์

23/01/2024

1. v0.1.1 แก้ไขข้อบกพร่องของแพ็คเกจ common-io

01/03/2024

1. การเปิดตัวรหัสครั้งแรก

ทิศทางในอนาคต

กฎหมายการปรับขนาด: ขีด จำกัด การปรับขนาดของโมเดล GraphGPT คืออะไร

• ดังที่เราทราบ GPT ที่ได้รับการฝึกด้วยข้อมูลข้อความสามารถปรับขนาดพารามิเตอร์ได้หลายแสนล้านรายการ และปรับปรุงความสามารถอย่างต่อเนื่อง
• ข้อมูลข้อความสามารถให้โทเค็นได้หลายล้านล้านโทเค็น และมีความซับซ้อนสูงมาก และมีความรู้มากมาย รวมถึงความรู้ทางสังคมและธรรมชาติ
• ในทางตรงกันข้าม ข้อมูลกราฟที่ไม่มีแอตทริบิวต์โหนด/ขอบจะมีเพียงข้อมูลโครงสร้าง ซึ่งค่อนข้างจำกัดเมื่อเทียบกับข้อมูลข้อความ ข้อมูลที่ซ่อนอยู่ส่วนใหญ่ (เช่น องศา จำนวนโครงสร้างย่อย และอื่นๆ) ที่อยู่ด้านหลังโครงสร้างสามารถคำนวณได้อย่างชัดเจนโดยใช้แพ็คเกจเช่น networkx ดังนั้นข้อมูลจากโครงสร้างกราฟอาจไม่สามารถรองรับการปรับขนาดโมเดลจนถึงพารามิเตอร์นับพันล้านได้
  • การทดลองเบื้องต้นของเรากับชุดข้อมูลกราฟขนาดใหญ่ต่างๆ แสดงให้เห็นว่าเราสามารถปรับขนาดพารามิเตอร์ GraphGPT ได้สูงสุดถึง 400M+ พร้อมการปรับปรุงประสิทธิภาพ แต่เราไม่สามารถปรับปรุงผลลัพธ์ต่อไปได้ อาจเป็นเพราะการทดลองของเราไม่เพียงพอ แต่เป็นไปได้ว่าข้อจำกัดโดยธรรมชาติของข้อมูลกราฟทำให้เกิดสิ่งนี้
• ชุดข้อมูลกราฟขนาดใหญ่ (กราฟขนาดใหญ่เพียงกราฟเดียวหรือกราฟขนาดเล็กจำนวนมาก) ที่มีแอตทริบิวต์โหนด/ขอบอาจให้ข้อมูลเพียงพอสำหรับเราในการฝึกโมเดล GraphGPT ขนาดใหญ่ อย่างไรก็ตาม ชุดข้อมูลกราฟชุดเดียวอาจไม่เพียงพอ และเราอาจจำเป็นต้องรวบรวมชุดข้อมูลกราฟต่างๆ เพื่อฝึก GraphGPT ชุดเดียว
  • ปัญหาที่นี่คือวิธีการกำหนดโทเค็นสากลสำหรับแอตทริบิวต์ขอบ/โหนดจากชุดข้อมูลกราฟต่างๆ

ข้อมูลกราฟคุณภาพสูง: ข้อมูลกราฟคุณภาพสูงสำหรับการฝึก GraphGPT สำหรับงานทั่วไปคืออะไร

• ตัวอย่างเช่น หากเราต้องการฝึกอบรมโมเดลหนึ่งสำหรับงานทำความเข้าใจและสร้างโมเลกุลทุกประเภท เราจะใช้ข้อมูลประเภทใด
  • จากการตรวจสอบเบื้องต้น เราได้เพิ่ม ZINC (4.6M) และ CEPDB (2.3M) ลงในการฝึกล่วงหน้า โดยสังเกตว่าไม่ได้ประโยชน์อะไรเมื่อปรับแต่ง PCQM4M-v2 สำหรับงานทำนายช่องว่างโฮโม-ลูโม สาเหตุที่เป็นไปได้อาจเป็นดังนี้:
    • #โครงสร้าง# รูปแบบกราฟด้านหลังกราฟโมเลกุลค่อนข้างง่าย
      • รูปแบบกราฟ เช่น โซ่หรือวงแหวน 5/6-node เป็นเรื่องปกติมาก
      • โดยเฉลี่ย 2 ขอบต่อโหนด หมายความว่าอะตอมมี 2 พันธะโดยเฉลี่ย
    • #ความหมาย# กฎทางเคมีสำหรับการสร้างโมเลกุลขนาดเล็กที่เป็นอินทรีย์นั้นเรียบง่าย: อะตอมของคาร์บอนมีพันธะ 4 พันธะ อะตอมไนโตรเจนมีพันธะ 3 พันธะ อะตอมออกซิเจนมี 2 พันธะ และอะตอมไฮโดรเจนมี 1 พันธะ และอื่นๆ พูดง่ายๆ ตราบใดที่เรามีพันธะของอะตอมเพียงพอ เราก็สามารถสร้างโมเลกุลใดๆ ก็ได้
    • กฎจากทั้งโครงสร้างและซีแมนทิกส์นั้นเรียบง่ายมาก แม้แต่โมเดลขนาดกลางก็สามารถเรียนรู้จากชุดข้อมูลขนาดกลางได้ ดังนั้นการเพิ่มข้อมูลเพิ่มเติมไม่ได้ช่วยอะไร เราฝึกโมเดลขนาดเล็ก/กลาง/ฐาน/ใหญ่ล่วงหน้าโดยใช้ข้อมูลโมเลกุล 3.7M และการสูญเสียโมเดลนั้นใกล้เคียงกันมาก ซึ่งบ่งชี้ถึงประโยชน์ที่จำกัดจากการขยายขนาดโมเดลในขั้นตอนก่อนการฝึก
• ประการที่สอง หากเราต้องการฝึกอบรมโมเดลหนึ่งสำหรับงานทำความเข้าใจโครงสร้างกราฟประเภทใดๆ เราจะใช้ข้อมูลประเภทใด
  • เราควรใช้ข้อมูลกราฟจริงจากโซเชียลเน็ตเวิร์ก เครือข่ายอ้างอิง และอื่นๆ หรือเพียงใช้ข้อมูลกราฟสังเคราะห์ เช่น กราฟ Erdos-Renyi แบบสุ่ม
  • การทดลองเบื้องต้นของเราแสดงให้เห็นว่าการใช้กราฟสุ่มเพื่อฝึก GraphGPT ล่วงหน้ามีประโยชน์สำหรับโมเดลในการทำความเข้าใจโครงสร้างกราฟ แต่ไม่เสถียร เราสงสัยว่ามีความเกี่ยวข้องกับการแจกแจงของโครงสร้างกราฟในขั้นตอนเตรียมการและขั้นตอนการปรับแต่ง ตัวอย่างเช่น มีจำนวนขอบต่อโหนดเท่ากัน จำนวนโหนดเท่ากัน ดังนั้นกระบวนทัศน์ก่อนการฝึกและการปรับแต่งก็ทำงานได้ดี
  • #Universality# จะฝึกโมเดล GraphGPT ให้เข้าใจโครงสร้างกราฟในระดับสากลได้อย่างไร
• ย้อนกลับไปสู่คำถามก่อนหน้าเกี่ยวกับกฎหมายมาตราส่วน: ข้อมูลกราฟที่เหมาะสมและมีคุณภาพสูงที่จะขยาย GraphGPT ต่อไปเพื่อให้สามารถทำงานกราฟต่างๆ ได้ดีได้อย่างไร

ไม่กี่ช็อต: GraphGPT สามารถรับความสามารถไม่กี่ช็อตได้หรือไม่

• ถ้าเป็นไปได้จะออกแบบข้อมูลการฝึกอย่างไรเพื่อให้ GraphGPT เรียนรู้ได้?
• จากการทดลองเบื้องต้นของเรากับชุดข้อมูล PCQM4M-v2 พบว่ามีความสามารถในการเรียนรู้แบบช็อตไม่น้อย! แต่ก็ไม่ได้หมายความว่าทำไม่ได้ อาจเนื่องมาจากสาเหตุดังต่อไปนี้:
  • โมเดลไม่ใหญ่พอ เราใช้โมเดลพื้นฐานที่มีพารามิเตอร์ ~100M
  • ข้อมูลการฝึกอบรมไม่เพียงพอ เราใช้เพียง 3.7M โมเลกุล ซึ่งให้โทเค็นสำหรับการฝึกอบรมที่จำกัดเท่านั้น
  • รูปแบบของข้อมูลการฝึกไม่เหมาะกับโมเดลที่ได้รับความสามารถในการถ่ายภาพไม่กี่ครั้ง

ภาพรวม:

เราขอเสนอ GraphGPT ซึ่งเป็นโมเดลใหม่สำหรับการเรียนรู้กราฟโดย Generative Pre-training Graph Eulerian Transformers (GET) ที่ดูแลตนเอง ก่อนอื่นเราจะแนะนำ GET ซึ่งประกอบด้วยแกนหลักของตัวเข้ารหัส/ตัวถอดรหัสของ Transformer และการแปลงที่เปลี่ยนแต่ละกราฟหรือกราฟย่อยตัวอย่างให้เป็นลำดับของโทเค็นที่แสดงถึงโหนด ขอบ และคุณลักษณะที่ย้อนกลับได้โดยใช้เส้นทาง Eulerian จากนั้นเราจะฝึกอบรม GET ล่วงหน้าด้วยงาน next-token-prediction (NTP) หรืองาน masked-token-prediction (SMTP) ที่กำหนดเวลาไว้ สุดท้ายนี้ เราปรับแต่งโมเดลด้วยงานที่ได้รับการดูแล โมเดลที่ใช้งานง่ายแต่มีประสิทธิภาพนี้ให้ผลลัพธ์ที่เหนือกว่าหรือใกล้เคียงกับวิธีการล้ำสมัยสำหรับงานกราฟ ขอบ และระดับโหนดบนชุดข้อมูลโมเลกุลขนาดใหญ่ PCQM4Mv2 ซึ่งเป็นชุดข้อมูลการเชื่อมโยงโปรตีน-โปรตีน ogbl-ppa , ชุดข้อมูลเครือข่ายการอ้างอิง ogbl-citation2 และชุดข้อมูล ogbn-proteins จาก Open Graph Benchmark (OGB) นอกจากนี้ การฝึกอบรมล่วงหน้าแบบเจนเนอเรทีฟยังช่วยให้เราฝึก GraphGPT ได้ถึงพารามิเตอร์ 2B+ พร้อมประสิทธิภาพที่เพิ่มขึ้นอย่างต่อเนื่อง ซึ่งเกินความสามารถของ GNN และหม้อแปลงกราฟรุ่นก่อนๆ

กราฟเป็นลำดับ

หลังจากแปลงกราฟออยเลอร์ไรซ์เป็นลำดับแล้ว มีหลายวิธีในการแนบคุณลักษณะของโหนดและขอบเข้ากับลำดับ เราตั้งชื่อวิธีการเหล่านี้ว่า short long และ prolonged

เมื่อพิจารณาจากกราฟแล้ว เราจะทำการออยเลอร์ไลซ์กราฟก่อน แล้วจึงแปลงกราฟให้เป็นลำดับที่เทียบเท่ากัน จากนั้นเราจะจัดทำดัชนีโหนดใหม่แบบวนรอบ

สมมติว่ากราฟมีแอตทริบิวต์ของโหนดหนึ่งรายการและคุณลักษณะของ Edge หนึ่งรายการ จากนั้นวิธี short , long และ prolong จะแสดงอยู่ด้านบน

ในรูปด้านบน n1 , n2 และ e1 แสดงถึงโทเค็นของแอตทริบิวต์โหนดและขอบ และ [p] แสดงถึงโทเค็นการเติม

โหนดแบบวนซ้ำจัดทำดัชนีใหม่

วิธีที่ตรงไปตรงมาในการจัดทำดัชนีลำดับของโหนดใหม่คือการเริ่มต้นด้วย 0 และเพิ่ม 1 ทีละน้อย ด้วยวิธีนี้ โทเค็นของดัชนีขนาดเล็กจะได้รับการฝึกฝนอย่างเพียงพอ และดัชนีขนาดใหญ่จะไม่ได้รับการฝึกฝน เพื่อเอาชนะสิ่งนี้ เราเสนอ cyclical re-index ซึ่งเริ่มต้นด้วยตัวเลขสุ่มในช่วงที่กำหนด พูด [0, 255] และเพิ่มขึ้นทีละ 1 หลังจากไปถึงขอบเขต เช่น 255 ดัชนีโหนดถัดไปจะเป็น 0 .

ผลลัพธ์

ล้าสมัย จะได้รับการปรับปรุงเร็ว ๆ นี้

งานระดับกราฟ: ชุดข้อมูล PCQM4M-v2

งานระดับ Edge: ชุดข้อมูล ogbl-ppa

งานระดับโหนด: ชุดข้อมูล ogbn-proteins

การติดตั้ง

• โคลนที่เก็บนี้

git clone https://github.com/alibaba/graph-gpt.git

• ติดตั้งการพึ่งพาใน Requirements.txt (ใช้ Anaconda ทดสอบด้วย py38, pytorch-1131 และ CUDA-11.7, 11.8 และ 12.1 บน GPU V100 และ A100)

conda create -n graph_gpt python=3.8 pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
conda activate graph_gpt
cd graph-gpt
pip install -r ./requirements.txt
pip install torch-scatter torch-sparse -f https://data.pyg.org/whl/torch-1.13.1+cpu.html
sudo apt-get install bc

ชุดข้อมูล

ชุดข้อมูลจะถูกดาวน์โหลดโดยใช้แพ็คเกจ ogb ของ python

เมื่อคุณเรียกใช้สคริปต์ใน ./examples ชุดข้อมูลจะถูกดาวน์โหลดโดยอัตโนมัติ

อย่างไรก็ตาม ชุดข้อมูล PCQM4M-v2 มีขนาดใหญ่ และการดาวน์โหลดและการประมวลผลล่วงหน้าอาจเป็นปัญหาได้ เราขอแนะนำ cd ./src/utils/ และ python dataset_utils.py เพื่อดาวน์โหลดและประมวลผลชุดข้อมูลล่วงหน้าแยกกัน

วิ่ง

1. ฝึกล่วงหน้า: แก้ไขพารามิเตอร์ใน ./examples/graph_lvl/pcqm4m_v2_pretrain.sh เช่น dataset_name , model_name , batch_size , workerCount และอื่นๆ จากนั้นเรียกใช้ ./examples/graph_lvl/pcqm4m_v2_pretrain.sh เพื่อฝึกโมเดลล่วงหน้าด้วย PCQM4M-v2 ชุดข้อมูล
   • หากต้องการเรียกใช้ตัวอย่างของเล่น ให้เรียกใช้ . ./examples/toy_examples/reddit_pretrain.sh โดยตรง
2. ปรับแต่งอย่างละเอียด: แก้ไขพารามิเตอร์ใน ./examples/graph_lvl/pcqm4m_v2_supervised.sh เช่น dataset_name , model_name , batch_size , workerCount , pretrain_cpt และอื่นๆ จากนั้นรัน ./examples/graph_lvl/pcqm4m_v2_supervised.sh เพื่อปรับแต่งอย่างละเอียดกับงานดาวน์สตรีม .
   • หากต้องการเรียกใช้ตัวอย่างของเล่น ให้เรียกใช้ ./examples/toy_examples/reddit_supervised.sh โดยตรง

รหัสมาตรฐาน

กระทำล่วงหน้า

• ตรวจสอบเว็บไซต์อย่างเป็นทางการสำหรับรายละเอียด
• .pre-commit-config.yaml : สร้างไฟล์ที่มีเนื้อหาต่อไปนี้สำหรับ python

  •  repos :
    -   repo : https://github.com/pre-commit/pre-commit-hooks
        rev : v4.4.0
        hooks :
        -   id : check-yaml
        -   id : end-of-file-fixer
        -   id : trailing-whitespace
    -   repo : https://github.com/psf/black
        rev : 23.7.0
        hooks :
        -   id : black

• pre-commit install : ติดตั้ง pre-commit ลงใน git hooks ของคุณ
  • การคอมมิตล่วงหน้าจะทำงานในทุกการคอมมิต
  • ทุกครั้งที่คุณโคลนโปรเจ็กต์โดยใช้การติดตั้งแบบคอมมิตล่วงหน้า pre-commit install ควรเป็นสิ่งแรกที่คุณทำเสมอ
• pre-commit run --all-files : รัน hooks ที่คอมมิตล่วงหน้าทั้งหมดบนที่เก็บ
• pre-commit autoupdate : อัปเดต hooks ของคุณเป็นเวอร์ชันล่าสุดโดยอัตโนมัติ
• git commit -n : การตรวจสอบก่อนคอมมิตสามารถปิดใช้งานได้สำหรับคอมมิตเฉพาะด้วยคำสั่ง

การอ้างอิง

หากคุณพบว่างานนี้มีประโยชน์ กรุณาอ้างอิงเอกสารต่อไปนี้:

@article{zhao2024graphgpt,
  title={GraphGPT: Graph Learning with Generative Pre-trained Transformers},
  author={Zhao, Qifang and Ren, Weidong and Li, Tianyu and Xu, Xiaoxiao and Liu, Hong},
  journal={arXiv preprint arXiv:2401.00529},
  year={2024}
}

ติดต่อ

ฉีฟาง จ้าว ([email protected])

ขอขอบคุณอย่างจริงใจสำหรับข้อเสนอแนะของคุณเกี่ยวกับงานของเรา!

ใบอนุญาต

เผยแพร่ภายใต้ใบอนุญาต MIT (ดู LICENSE ):

 Ali-GraphGPT-project is an AI project on training large scale transformer decoder with graph datasets,
developed by Alibaba and licensed under the MIT License.