iOS GenAI 采样器

iOS GenAI 采样器

iOS 上的生成式 AI 示例集合。

用法

1. 将APIKey.sample.swift重命名为APIKey.swift ，并将您的 OpenAI API 密钥放入apiKeyOpenAI属性的值中。
2. 构建并运行。

• 请在您的 iPhone 或 iPad 上运行。 （实时示例不适用于模拟器。）

内容

GPT-4o 多模式示例

文字聊天

一个基本的文本聊天示例。

它显示了正常和流式实现。

图像理解

一个多模态示例，通过 GPT-4o 提供图像描述。

输出样本

该图显示一个人坐在桌边拿着智能手机。该人正在看手机，似乎正在设备上录制或观看视频。该人穿着一件深色连帽衫，上面印有“OpenAI”标志。

桌子上有一个黑色马克杯，上面有OpenAI的标志。图像的右侧是手机屏幕的特写视图，其中显示了人的倒影。

场景出现在室内，背景中可见一盏灯和一把椅子。灯光温暖，营造出舒适的氛围。

视频总结

一个多模态示例，提供 GPT-4o 视频的摘要。

输出样本

该视频的帧似乎来自可能与 Apple 的 WWDC21 活动相关的演示。

1. 第一帧显示三个动画 M 角色表情符号，部分被照亮。
2. 第二个框架显示了带有 WWDC21 徽标的 Apple MacBook 和代表不同应用程序的四个图标。
3. 下面的帧描绘了人 a，可能是提供解释的演示者。从环境来看，这是一场以技术为中心的演示，背景中可以看到相机和 Mac。
4. 演示者主题旁边会出现逐渐的文本叠加，包括“距离”、“位 HDR 视频”、“Video10 控制中心中的效果”、“性能最佳实践”和“urfaceIOS 压缩”的最小焦点。
5. 最后一帧显示黑屏，并显示文本“AV captureFoundation 类”。

这些帧共同描绘了 Apple 开发者会议的一个片段，其中正在讨论与视频捕获和效果相关的技术细节和最佳实践。

实时视频理解

一个多模态示例，通过 GPT-4o 提供实时视频描述。

https://www.youtube.com/watch?v=bF5CW3b47Ss

本地法学硕士示例

Φ3

使用 Phi-3 - GGUF 的本地法学硕士示例。

芽

使用 Gemma 2B Instruct - GGUF 的本地法学硕士示例。

米斯特拉尔7B

使用 Mistral-7B v0.1 - GGUF 的本地 LLM 示例。

Apple 翻译框架示例

简单叠加

一个简单的覆盖翻译，用 1 行实现。

自定义 UI 翻译（在 iOS 18 分支上可用）

使用TranslationSession的自定义 UI 翻译示例。

翻译可用性（在 iOS 18 分支上可用）

使用LanguageAvailability显示每个语言对的翻译可用性。

Core ML 稳定扩散示例

稳定扩散 v2.1

使用稳定扩散 v2.1 生成设备上图像。

稳定扩散XL

使用 Stable Diffusion XL 生成设备上图像。

耳语示例

耳语套件

使用 WhisperKit 进行设备上语音识别。

### 即将推出的功能

• 其他 OpenAI API（例如嵌入、图像、音频等）
• 本地法学硕士
  • MLX
  • 核心机器学习
• 其他耳语型号
  • 耳语.cpp
  • MLX
• 谷歌双子座（iOS SDK）
• 其他稳定扩散模型
• iOS 18 / 苹果情报
  • 源门寺
  • 书写工具
  • 图像游乐场