班佩重量
1.0.0
建立大型人工智慧模型有一個學習曲線，並且是時間和資源密集的。直到最近，我們還認為預先訓練的人工智慧模型權重是不明確的二維十進制數組，但如果還有更多的東西呢？
今天我們想分享我們如何探索人工智慧模型權重，但首先讓我們看看我們是如何做到這一點的。
我們閱讀了這些關鍵論文
使用深度卷積神經網路進行 ImageNet 分類
您所需要的就是關注
要點/亮點
關鍵問題
還有什麼可以處理矩陣和高解析度浮點 32 資料？ （TIFF 影像）？
為什麼我們不能重複使用這些具有大型高解析度資料集的系統中的類似技術，以使用不同類型的迭代器來導航「權重」？憑藉目前在磁碟上載入 100 GB 檔案的 Rust 和 mmap 效能，誰知道這種方法是否可以在沒有 GPU 的情況下適用於僅限於 CPU 的較小模型。
缺少/需要哪些技術才能開始？
什麼
我們建立了一個原型，用於提取並希望確定權重：
關聯回原始來源訓練數據
經過許多世代訓練的改變
似乎代表了一個密集的 3D 訓練知識領域，保存為嵌入式「權重」（未經證實，但這是我們基於似乎有效的技術的假設）
為什麼
我們想了解法學碩士為何如此特殊，以及權重如何融入這項創新技術。
透過選擇花時間嘗試查看 LLM 權重是什麼，我們相信我們可以應用眾所周知的視覺化技術來分析人腦掃描，以提取、識別、重複使用和審計權重。
在大型生成式 AI Transformer 權重廣泛使用之前，這些類型的密集、高解析度訓練資料集非常昂貴且不經常共享
如何
我們使用數位訊號處理演算法 (DSP) 來建立此原型，用於高解析度資料的體積分析，並將分析引擎與 Blender（一種開源視覺化工具）結合。
我們將開源並追蹤人工智慧如何從頭開始學習，並使用 Blender 匯出和分享權重的樣子。
透過選擇使用 Blender 分析 3D 體積中的模型權重，我們內建了動畫功能，使我們能夠設計用於擷取時間序列訓練資料集的初始 v1 API。此訓練資料集專注於捕捉 AI 基礎模型如何使用體積資料的高效能權重分析在每個訓練階段進行學習。
我們認為，我們需要分享這些模型的外觀，以便我們能夠理解它們並訓練人工智慧來建構和審核自身。
我們也想看看專家的混合是什麼樣子（下載下面最新的 Dolphin 2.5 Mixtral 8x7B STL/glTF 網格版本）。
此儲存庫用於分析、提取、視覺化和重複使用生成式 AI 權重，以期建立更準確的 AI 模型並審計/掃描靜態權重，以識別風險的知識領域。
注意：今天的版本僅包括如何分析、提取和視覺化現有模型權重。現在我們可以直觀地了解人工智慧模型的學習方式，接下來就是基礎模型訓練。培訓視覺化將從教授一個新的 AI 模型開始，該模型涉及「bampe-weights 儲存庫如何整合 numpy、pandas 和 Blender」。在共享之前，我們有大約 190 個 python/（任務、提示、答案）檔案需要組織。
該儲存庫正在探索模型隨著時間的推移學習的可視化，並從提取的「權重形狀」建立訓練資料集，以建立和預測新的 AI 模型權重（希望也比傳統訓練方法更快）。
這是 Llama 2 7B Chat GPTQ 在 Blender 中的樣子，並使用此儲存庫匯出為 gif：
以下 google 磁碟機資料夾包含大型語言模型 glTF 和 STL 視覺化的新興索引。檔案範圍從 ~1 MB 到 +2 GB。
如果您想查看新型號/密度，請與我們聯絡！
如果 STL 檔案夠小，那麼 GitHub 可以自動渲染 3D 網格。注意：目前在行動裝置上查看 GitHub STL 並不理想，但在桌面上，您可以使用滑鼠滾輪反向放大圖層並使用滑鼠左/右鍵旋轉：
我們嘗試保持在 50 MB 限制以下，並將資產儲存在 GitHub 上的儲存庫中 - https://github.com/matlok-ai/gen-ai-datasets-for-bampe-weights/docs/images/blender
在容器中自架 Blender，以協助查看生成式 AI 權重在本地的樣子：
已包含匯出的 STL/GLB 檔案的 Blender 演示容器映像
matlok/blender-ai-demos 映像是從 LinuxServer Blender 映像創建的，包含可在瀏覽器中查看的 3D STL 和 GLB 檔案。 Blender-ai-demos 提取的容器映像在磁碟上的大小 >4.0 GB，並使用大約 3 GB 的 RAM 來處理 >40 MB 的 STL 或 glTF 檔案：
演示可視化可在容器內的此目錄中找到：
/config/bampe-可視化
碼頭工人
docker rm blender; docker-compose -f compose/blender-demos.yaml up -d
波德曼
podman rm -t 0 -f blender; podman-compose -f compose/blender-demos.yaml up -d
基礎 Linux 伺服器鏡像
執行 LinuxServer/docker-blender 映像 (lscr.io/linuxserver/blender:latest) 並產生新的 STL/GLB 文件，這些文件可以使用主機和 Blender 容器之間已安裝的磁碟區（ .blender目錄）進行檢視。 docker-blender 提取的容器映像在磁碟上約為 3 GB。
碼頭工人
docker rm blender; docker-compose -f compose/blender-demos.yaml up -d
波德曼
podman rm -t 0 -f blender; podman-compose -f compose/base.yaml up -d
注意：新建立的視覺工件（STL 和 glTF glb 檔案）僅在 Blender 容器內的此目錄中重新啟動容器後才會顯示：
/配置/班佩
在瀏覽器中開啟 Blender
Blender 正在監聽這個 url：
http://本地主機:3000
手動載入 3D Blender AI 視覺化
Blender 在瀏覽器中運行後，您可以透過點擊以下選單匯入 STL 或 glTF 檔案：
文件
進口
STL或glTF
檔案位於/config/bampe或/config/bampe-visualizations中，取決於正在執行的容器版本
使用Shift + `啟用滑鼠導航模式，使用 W、A、S、D 進行第一人稱移動。
按住Shift按鈕也會以渦輪速度移動。
開啟編輯->首選項->導航->飛行和行走->行走切換箭頭
調整滑鼠靈敏度-> 0.1
調整步行速度-> 20 m/s
該儲存庫用於研究使用預先訓練的人工智慧權重來建立人工智慧的替代方法。這是一項正在進行的工作，因此請參閱設定開發環境以獲取有關從命令列運行它的更多詳細資訊。
我們可以使用線上工具分享和查看這些形狀。
該存儲庫在以下平台上進行了測試：
