DiffAbXL

DiffAbXL:

ผู้แต่ง: Talip Ucar ([email protected])

การนำ DiffAbXL ไปใช้วัดประสิทธิภาพในรายงาน: การสำรวจคะแนน Log-Likelihood สำหรับการจัดอันดับการออกแบบลำดับแอนติบอดี

• โปรดทราบว่าเดิมบทความนี้มีชื่อว่า "Benchmarking Generative Models for Antibody Design" แต่เราตัดสินใจเปลี่ยนแปลงเพื่อเน้นย้ำถึงคุณูปการหลักให้ดียิ่งขึ้น
• นี่คือการนำงานต้นฉบับไปใช้ใหม่ DiffAb: [Paper and Code]

สารบัญ:

1. ลีดเดอร์บอร์ดปัจจุบัน
2. ผลลัพธ์การเปรียบเทียบจากกระดาษ
3. วิธีสร้างอินเทอร์เฟซสำหรับโมเดลการเปรียบเทียบ
4. การฝึกอบรม
5. โครงสร้างของการซื้อคืน
6. การติดตามการทดลอง
7. อ้างถึงกระดาษ
8. อ้างถึง repo นี้

ลีดเดอร์บอร์ดปัจจุบัน

อันดับ	โมเดล	แอบไซ HER2		ธรรมชาติ		อาแซด ทาร์เก็ต-2	อเวนิว ?
		ซีโร่ช็อต	การควบคุมเอสพีอาร์	ช่วยเหลือ	เธอ2
1	DiffAbXL-A-DN	0.43	0.22	0.62	0.37	0.41	0.41
2	ดิฟAbXL-A-SG	0.46	0.22	0.64	-0.38	0.43	0.274
3	ดิฟAbXL-H3-DN	0.49	0	0.52	-0.08	0.37	0.26
4	IgBlend (struct. เท่านั้น)	0.40	0.21	0.54	-0.30	0.31	0.232
5	ป้องกันการพับ	0.43	0.22	0.4	-0.47	0.38	0.192
6	ดิฟAbXL-H3-SG	0.48	0	0.4	-0.41	0.29	0.152
7	อีเอสเอ็ม	0.29	0	0	0.18	0.27	0.148
8	ดิฟเอบี	0.34	0.21	0	-0.14	0.22	0.126
9	แอบแลง2	0.3	0	0	-0.07	0.36	0.118
10	IgBlend (ซีคิวเท่านั้น)	0.27	0	0	-0.1	0.36	0.106
11	อับแลง	0.3	0	0	-0.13	0.35	0.104
12	dyMEAN	0.37	0.15	0	0	0	0.104
13	เอบีเอ็กซ์	0.28	0.19	0	0	0	0.094
14	แอนตี้เบอร์ตี้	0.26	0	0	-0.17	0.35	0.088
15	หมายถึง	0.36	0	0	0.02	0	0.076
16	อีเอสเอ็ม-IF	0	-0.27	0	-0.53	0.42	-0.076

• หมายเหตุ-1: Ave. ? หมายถึงความสัมพันธ์เฉลี่ยของ Spearman กับชุดข้อมูลห้าชุด บอร์ดผู้นำด้านบนอิงตามชุดข้อมูลเป้าหมายห้าชุด โดยมีคะแนนเป็นศูนย์ที่กำหนดให้กับแบบจำลองที่ไม่แสดงให้เห็นความสัมพันธ์ที่มีนัยสำคัญทางสถิติ หรือไม่เหมาะสำหรับการคำนวณคะแนน (เช่น ต้องใช้แอนติเจน)
• หมายเหตุ-2: คะแนนความน่าจะเป็นของบันทึกในงานนี้คำนวณโดยใช้แนวทางที่ไร้เดียงสา ดังที่สรุปไว้ในสมการ-11 ในรายงาน เพื่อรักษาความสอดคล้องกันในแบบจำลองต่างๆ อย่างไรก็ตาม เป็นที่น่าสังเกตว่ามีวิธีการที่มีหลักการมากกว่าในการคำนวณคะแนนเหล่านี้ ซึ่งอาจแตกต่างกันไปขึ้นอยู่กับประเภทของแบบจำลอง (เช่น โมเดลภาษาแบบถอยหลังอัตโนมัติกับแบบพราง) เราวางแผนที่จะตรวจสอบแนวทางทางเลือกเหล่านี้ในงานในอนาคต

ผลลัพธ์การเปรียบเทียบ

1- ความสัมพันธ์ระหว่างความน่าจะเป็นของบันทึกของ DiffAbXL และความสัมพันธ์ที่มีผลผูกพันกับเป้าหมายที่แตกต่างกัน

รูปที่ 1: ผลลัพธ์ของ DiffAbXL: a) DiffAbXL-H3-DN สำหรับข้อมูล Absci zero-shot HER2 b) DiffAbXL-A-SG สำหรับ AZ Target-2, c) DiffAbXL-A-SG สำหรับ Nature HEL, d) DiffAbXL- A-DN สำหรับธรรมชาติ HER2

2- การเปรียบเทียบแบบจำลองแบบกระจาย แบบ LLM และแบบกราฟ

ตารางที่ 1: สรุปผลลัพธ์สำหรับความสัมพันธ์แบบสเปียร์แมน ตัวย่อ: DN: โหมด De Novo, SG: โหมดการนำทางโครงสร้าง, NA: จำเป็นต้องมีอีพิโทปหรือโครงสร้างที่ซับซ้อน แต่ไม่มีให้ใช้งาน *, **, *** ระบุค่า p ต่ำกว่า 0.05, 0.01 และ 1e-4 ตามลำดับ

วิธีสร้างอินเทอร์เฟซสำหรับโมเดลการเปรียบเทียบ

เพื่อให้ง่ายขึ้นสำหรับเราในการเปรียบเทียบโมเดลของคุณ เราขอแนะนำให้คุณใช้อินเทอร์เฟซเป็นวิธี Python ในคลาสที่เราสามารถรวมเข้ากับไปป์ไลน์การประเมินของเราได้อย่างง่ายดาย วิธีการควรยอมรับอินพุตต่อไปนี้:

1. ลำดับแอนติบอดี : รายการลำดับแอนติบอดี
2. ข้อมูลโครงสร้างเสริม : ข้อมูลโครงสร้าง (เช่น ไฟล์ PDB) ที่เกี่ยวข้องกับลำดับหากมี
3. พารามิเตอร์เฉพาะรุ่นเพิ่มเติม : อินพุตอื่นๆ ที่โมเดลของคุณต้องการ

วิธีการควรส่งคืนพจนานุกรมที่มี:

1. คะแนนความน่าจะเป็นของบันทึก : สำหรับการจัดอันดับลำดับแอนติบอดีตามสัมพรรคภาพการจับที่คาดการณ์ไว้
2. ตัววัดที่เกี่ยวข้องอื่นๆ : เช่น RMSD, pAE หรือเอาต์พุตเฉพาะรุ่นใดๆ ที่คุณเชื่อว่าเกี่ยวข้อง

นี่คือเทมเพลตพื้นฐานใน Python สำหรับการนำอินเทอร์เฟซนี้ไปใช้:

    def benchmark ( self , sequences , structure = None , mask = None , ** kwargs ):
        """
        Benchmark the model on provided antibody sequences and structures.

        Parameters:
        sequences (list of str): List of antibody sequences.
        structure (optional): Path to a PDB file. Currently, only one PDB file is provided per target dataset.
                              The PDB file may contain either just the antibody or an antibody-antigen complex,
                              depending on the dataset.
        mask (optional): Binary list or array indicating the regions of interest in the sequences for metric calculations.
        kwargs (optional): Additional parameters required by the model.

        Returns:
        dict: A dictionary containing log-likelihood scores and other relevant metrics.
        """
        pass

โปรดตรวจสอบให้แน่ใจว่าแบบจำลองของคุณแสดงคะแนนความเป็นไปได้ของบันทึกในรูปแบบที่เราสามารถใช้โดยตรงสำหรับการเปรียบเทียบการออกแบบลำดับแอนติบอดี ซึ่งจะช่วยให้เราเปรียบเทียบประสิทธิภาพของโมเดลของคุณกับชุดข้อมูลของเราได้อย่างมีประสิทธิภาพ

การฝึกอบรม

มีไฟล์การกำหนดค่าหนึ่งไฟล์: sabdab.yaml ซึ่งสามารถใช้เพื่อเปลี่ยนพารามิเตอร์ใดก็ได้ คุณสามารถฝึกโมเดลได้โดยใช้:

 python train.py # For training. 

โครงสร้างของการซื้อคืน

 - train.py

- สอาร์ค
    |-model.py
    
- กำหนดค่า
    |-sabdab.yaml
    
- ยูทิลิตี้
    |-load_data.py
    |-arguments.py
    |-model_utils.py
    |-loss_functions.py
    -
    
- ข้อมูล
    |-เธอ2
    -

การติดตามการทดลอง

น้ำหนักและอคติสามารถใช้เพื่อติดตามการทดลองได้ มันถูกปิดโดยค่าเริ่มต้น แต่สามารถเปิดได้โดยการเปลี่ยนตัวเลือกในไฟล์กำหนดค่าใน ./config/sabdab.yaml

อ้างถึงกระดาษ

 @article {Ucar2024.10.07.617023,
	author = {Ucar, Talip and Malherbe, Cedric and Gonzalez Hernandez, Ferran},
	title = {Exploring Log-Likelihood Scores for Ranking Antibody Sequence Designs},
	elocation-id = {2024.10.07.617023},
	year = {2024},
	doi = {10.1101/2024.10.07.617023},
	publisher = {Cold Spring Harbor Laboratory},
	URL = {https://www.biorxiv.org/content/early/2024/10/24/2024.10.07.617023},
	eprint = {https://www.biorxiv.org/content/early/2024/10/24/2024.10.07.617023.full.pdf},
	journal = {bioRxiv}
}

อ้างถึง repo นี้

หากคุณใช้ DiffAbXL ในการศึกษาของคุณเองและทำงาน โปรดอ้างอิงโดยใช้สิ่งต่อไปนี้:

 @Misc{talip_ucar_2024_DiffAbXL,
	author =   {Talip Ucar},
	title = {Exploring Log-Likelihood Scores for Ranking Antibody Sequence Designs},
	URL = {https://github.com/AstraZeneca/DiffAbXL},
	month = {October},
	year = {since 2024}
}