ตัวอย่าง iOS GenAI
คอลเลกชันตัวอย่าง Generative AI บน iOS
การใช้งาน
- เปลี่ยนชื่อ
APIKey.sample.swift
เป็น APIKey.swift
และใส่คีย์ OpenAI API ของคุณลงในค่าของคุณสมบัติ apiKeyOpenAI
- สร้างและดำเนินการ
- กรุณารันบน iPhone หรือ iPad ของคุณ (ตัวอย่างแบบเรียลไทม์ใช้ไม่ได้กับเครื่องจำลอง)
สารบัญ
GPT-4o ตัวอย่างต่อเนื่องหลายรูปแบบ
ส่งข้อความแชท
ตัวอย่างการแชทด้วยข้อความพื้นฐาน
มันแสดงการใช้งานทั้งแบบปกติและแบบสตรีมมิ่ง
ความเข้าใจภาพ
ตัวอย่างต่อเนื่องหลายรูปแบบที่ให้คำอธิบายรูปภาพโดย GPT-4o
ตัวอย่างเอาท์พุต
รูปภาพแสดงคนกำลังนั่งอยู่ที่โต๊ะและถือสมาร์ทโฟน บุคคลนั้นกำลังดูโทรศัพท์และดูเหมือนว่าจะอยู่ในขั้นตอนการบันทึกหรือดูวิดีโอบนอุปกรณ์ บุคคลนั้นสวมเสื้อฮู้ดสีเข้มที่มีโลโก้ "OpenAI" อยู่ บนโต๊ะมีแก้วน้ำสีดำที่มีโลโก้ OpenAI อยู่ ทางด้านขวาของภาพคือภาพระยะใกล้ของหน้าจอโทรศัพท์ที่แสดงภาพสะท้อนของบุคคล
การตั้งค่าให้ปรากฏในอาคารคือมีโคมไฟและเก้าอี้มองเห็นได้ในพื้นหลัง แสงไฟโทนอบอุ่นสร้างบรรยากาศสบาย ๆ
การสรุปวิดีโอ
ตัวอย่างต่อเนื่องหลายรูปแบบที่ให้ข้อมูลสรุปของวิดีโอโดย GPT-4o
ตัวอย่างเอาท์พุต
วิดีโอดังกล่าวปรากฏว่าเฟรมมาจากการนำเสนอที่น่าจะเกี่ยวข้องกับงาน Apple ถึง WWDC21- เฟรมแรกแสดงอิโมจิตัวละคร M แบบเคลื่อนไหว 3 ตัวที่ส่องสว่างบางส่วน
- เฟรมที่สองแสดง Apple MacBook พร้อมโลโก้ WWDC21 และไอคอนสี่ไอคอนที่แสดงถึงแอพพลิเคชั่นต่างๆ
- เฟรมต่อไปนี้แสดงถึงบุคคล ก ซึ่งน่าจะเป็นผู้นำเสนอเพื่ออธิบาย สภาพแวดล้อมบ่งบอกว่าเป็นการนำเสนอที่เน้นเทคโนโลยี โดยมีกล้องและ Mac มองเห็นได้ในพื้นหลัง
- มีการซ้อนทับข้อความทีละน้อยปรากฏขึ้นถัดจากหัวข้อของผู้นำเสนอ รวมถึงการโฟกัสขั้นต่ำด้วย "ระยะทาง" "วิดีโอ HDR - บิต" "เอฟเฟกต์ในศูนย์ควบคุม Video10" "แนวทางปฏิบัติที่ดีที่สุดด้านประสิทธิภาพ" และ "การบีบอัด urfaceIOS"
- เฟรมสุดท้ายแสดงหน้าจอสีดำพร้อมข้อความ "คลาส AV captureFoundation"
เฟรมต่างๆ รวบรวมภาพส่วนหนึ่งจากเซสชั่นของนักพัฒนา Apple ซึ่งมีการพูดคุยถึงรายละเอียดทางเทคนิคและแนวทางปฏิบัติที่ดีที่สุดที่เกี่ยวข้องกับการจับภาพวิดีโอและเอฟเฟกต์ต่างๆ
ความเข้าใจวิดีโอเรียลไทม์
ตัวอย่างต่อเนื่องหลายรูปแบบที่ให้คำอธิบายวิดีโอแบบเรียลไทม์โดย GPT-4o
https://www.youtube.com/watch?v=bF5CW3b47Ss
ตัวอย่าง LLM ท้องถิ่น
พี-3
ตัวอย่าง LLM ท้องถิ่นที่ใช้ Phi-3 - GGUF
เจมม่า
ตัวอย่าง LLM ท้องถิ่นโดยใช้ Gemma 2B Instruct - GGUF
มิสทรัล 7B
ตัวอย่าง LLM ท้องถิ่นที่ใช้ Mistral-7B v0.1 - GGUF
ตัวอย่างกรอบการแปลของ Apple
การซ้อนทับอย่างง่าย
การแปลแบบซ้อนทับอย่างง่ายพร้อมการใช้งาน 1 บรรทัด
การแปล UI แบบกำหนดเอง (พร้อมใช้งานบนสาขา iOS 18)
ตัวอย่างการแปล UI ที่กำหนดเองโดยใช้ TranslationSession
ความพร้อมใช้งานการแปล (พร้อมใช้งานบนสาขา iOS 18)
แสดงความพร้อมในการแปลสำหรับแต่ละคู่ภาษาโดยใช้ LanguageAvailability
ตัวอย่างการแพร่กระจายที่เสถียรของ Core ML
การแพร่กระจายที่เสถียร v2.1
การสร้างภาพบนอุปกรณ์โดยใช้ Stable Diffusion v2.1
การแพร่กระจายที่เสถียร XL
การสร้างภาพบนอุปกรณ์โดยใช้ Stable Diffusion XL
ตัวอย่างเสียงกระซิบ
วิสเปอร์คิท
การรู้จำเสียงบนอุปกรณ์โดยใช้ WhisperKit
### คุณสมบัติที่จะเกิดขึ้น
- OpenAI API อื่นๆ (เช่น การฝัง รูปภาพ เสียง ฯลฯ)
- LLM ท้องถิ่น
- เอ็มแอลเอ็กซ์
- คอร์ เอ็มแอล
- วิสเปอร์รุ่นอื่นๆ
- Google ราศีเมถุน (iOS SDK)
- โมเดลการแพร่กระจายที่เสถียรอื่น ๆ
- iOS 18 / แอปเปิ้ลอัจฉริยะ
- เกนโมจิ
- เครื่องมือการเขียน
- รูปภาพสนามเด็กเล่น