蘋果發布了iOS 18.2的首個開發者測試版，其中最引人注目的功能是將ChatGPT集成到Siri中。這使得Siri能夠理解並回答用戶關於設備屏幕上顯示內容的複雜問題，例如識別圖像中的地點或建築物。這項功能的實現，依靠Siri截取屏幕截圖並將其上傳到ChatGPT進行分析，並在徵得用戶同意後完成整個過程。 這項更新對沒有配備Visual Intelligence功能的iPhone用戶來說尤為重要，因為它擴展了屏幕內容理解的能力。
Apple 已經發布了iOS18.2的第一個開發者測試版，其中包含許多新的Apple Intelligence 功能。新功能之一是期待已久的與ChatGPT 的集成，借助此功能，您現在可以向Siri 詢問有關您在設備屏幕上看到的內容的詳細信息。
通過將ChatGPT 集成到Siri，Apple 的虛擬助手將使用OpenAI 平台回答複雜問題。但是，它還可以讀取iPhone、iPad 或Mac 屏幕上的內容。例如，如果您正在觀看視頻或在Instagram 上查看某人的照片，您可以問“這是哪裡?”或“那張照片上的建築物是什麼?”之類的問題。
來源：9to5mac
Siri 會截取屏幕截圖並將其上傳到ChatGPT，後者能夠理解上下文並使用其數據庫提供答案。當然，出於隱私原因，Siri 在截取設備屏幕截圖並將其發送到ChatGPT 之前始終會徵求您的許可。
對於沒有iPhone16的人來說，該功能尤其有趣，因為iPhone16是迄今為止唯一一款獲得Visual Intelligence 的設備。借助此功能，用戶可以按下“相機控制”來獲取有關他們在相機上看到的內容的信息。 Visual Intelligence 使用Apple Intelligence、ChatGPT 和Google 來提供答案。
蘋果還在利用Apple Intelligence 語言模型開發自己的屏幕感知功能。不過，該功能將隨iOS18的另一次更新一起推出——可能是明年。一旦該功能可用，Siri 將理解上下文並根據屏幕上的內容採取行動——所有處理都在設備上進行。
來源:9to5mac
除了ChatGPT 集成之外，iOS18.2還附帶了Image Playground、Genmoji 和重新設計的郵件應用程序。
目前， iOS18.2測試版僅適用於與Apple Intelligence 兼容的設備。這意味著iPhone15Pro 或更高版本和M1iPad 或更高版本。當然，此更新最終也將適用於其他設備。
蘋果此前曾暗示iOS18.2將於12月向公眾發布。 iOS18.1將於下週發布，其中包含蘋果智能寫作工具以及通知和文本摘要。
總而言之，iOS 18.2 的更新為用戶帶來了更智能、更便捷的體驗，特別是與ChatGPT的集成，進一步提升了Siri的功能，使其能夠更好地理解和處理屏幕內容信息。 我們期待iOS 18.2正式版的發布，體驗更多新功能。