ดาวน์โหลด LFM - ดาวน์โหลดซอร์สโค้ด LFM

LFM

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

แบบจำลองรองพื้นชนิดน้ำ [LFM]

นี่เป็นความพยายามในการนำ LFM ไปใช้แบบโอเพ่นซอร์ส ซึ่งเห็นได้ชัดว่าไม่ใช่พื้นที่เก็บข้อมูลอย่างเป็นทางการเนื่องจากเป็นแหล่งปิด ฉันเชื่อมโยงเอกสารด้านล่างที่ฉันใช้เป็นข้อมูลอ้างอิง ค้นหาข้อมูลเพิ่มเติมเกี่ยวกับโมเดลได้จากบทความต้นฉบับ

การติดตั้ง

$ pip3 install -U lfm-torch

การใช้งาน

 import torch
from lfm_torch . model import LFModel
from loguru import logger

# Instantiate and test the model
if __name__ == "__main__" :
    batch_size , seq_length , embedding_dim = 32 , 128 , 512
    token_dim , channel_dim , expert_dim , adapt_dim , num_experts = (
        embedding_dim ,
        embedding_dim ,
        embedding_dim ,
        128 ,
        4 ,
    )
    model = LFModel (
        token_dim , channel_dim , expert_dim , adapt_dim , num_experts
    )

    input_tensor = torch . randn (
        batch_size , seq_length , embedding_dim
    )  # 3D text tensor
    output = model ( input_tensor )
    logger . info ( "Model forward pass complete." )

หม้อแปลงของเหลว

สถาปัตยกรรมประสาทแบบใหม่ที่รวม Liquid Neural Networks กลไกความสนใจของ Transformer และ Mixture of Experts (MoE) เพื่อการประมวลผลแบบปรับตัวที่ได้รับการปรับปรุงและการอัปเดตสถานะไดนามิก ทดลองมากและเร็วมาก! เรากำลังเขียนสคริปต์การฝึกอบรมที่นี่ มันยังต้องการโทเค็นจริงเหมือนโทเค็นของลามะ แต่มันก็กำลังไปถึงจุดนั้นแล้ว หากคุณสามารถช่วยเรื่องนี้ได้ โปรดแจ้งให้เราทราบ

ภาพรวมสถาปัตยกรรม

 ผังงานวัณโรค
    กราฟย่อย "หม้อแปลงของเหลว"
        อินพุต ["ลำดับอินพุต"] --> TL ["เลเยอร์หม้อแปลง"]
        
        กราฟย่อย "เลเยอร์หม้อแปลง"
            ทิศทางวัณโรค
            MHA["ความสนใจแบบหลายหัว"] --> LC["เซลล์ของเหลว"]
            LC --> กระทรวงศึกษาธิการ["ส่วนผสมของผู้เชี่ยวชาญ"]
            กระทรวงศึกษาธิการ -> LN["บรรทัดฐานของเลเยอร์ + สิ่งตกค้าง"]
        จบ
        
        กราฟย่อย "รายละเอียดเซลล์ของเหลว"
            ทิศทาง LR
            HS["สถานะที่ซ่อนอยู่"] --> WH["W_h เชิงเส้น"]
            อินพุต2["อินพุต"] --> WI["W_in เชิงเส้น"]
            WH --> เพิ่ม((+))
            WI --> เพิ่ม
            เพิ่ม --> พระราชบัญญัติ["การเปิดใช้งาน"]
            พระราชบัญญัติ -> LN2["LayerNorm"]
            LN2 --> DO["ออกกลางคัน"]
        จบ
        
        กราฟย่อย "รายละเอียด MoE"
            ทิศทางวัณโรค
            Input3["อินพุต"] --> ประตู ["เครือข่าย Gating"]
            Input3 --> E1["ผู้เชี่ยวชาญ 1"]
            Input3 --> E2["ผู้เชี่ยวชาญ 2"]
            Input3 --> E3["ผู้เชี่ยวชาญ N"]
            ประตู -> หวี ["ชุดค่าผสมถ่วงน้ำหนัก"]
            E1 --> หวี
            E2 --> หวี
            E3 --> หวี
        จบ
        
        TL -> เอาต์พุต ["ลำดับเอาต์พุต"]
    จบ

 import torch
from loguru import logger

from lfm_torch . liquid_t_moe import LiquidTransformer

# Example usage
if __name__ == "__main__" :
    seq_len , batch_size , embed_size = 10 , 2 , 64
    num_heads , num_experts , expert_size , num_layers = 8 , 4 , 64 , 6

    # Create the model
    model = LiquidTransformer ( embed_size , num_heads , num_experts , expert_size , num_layers )

    # Example input tensor
    x = torch . randn ( seq_len , batch_size , embed_size )

    # Forward pass
    output = model ( x )
    logger . info ( f"Model output shape: { output . shape } " )