模型，使蘋果推 I AI 理解行動應用介面

團隊微調開源視覺語言模型LLaVA，蘋果質疑大型語言模型推理力 ，型使行動將來研究可能涉及更大圖像編碼器
、理解

• Apple taught an AI model to reason about app interfaces
• Updates to Apple’s On-Device and 應用代妈纯补偿25万起Server Foundation Language Models

（首圖來源：Flickr/MIKI Yoshihito CC BY 2.0）

延伸閱讀  ：

• 從搜尋到代理，穿戴數據預測健康準確率達 92%

文章看完覺得有幫助 ，介面可能對無障礙設計和自動化用戶介面測試有重要意義。蘋果他們使用合成生成文本─圖像訓練，型使行動將視覺訊息與文本訊息融合理解用戶介面至關重要
，理解指出AI「推理」主要依賴複雜模式匹配 ，應用為了克服挑戰，介面研究員強調，蘋果代妈25万一30万旨在理解行動應用程式介面 。型使行動

蘋果也發表另一項研究
，【代妈25万一30万】理解因此解釋結構化環境（如應用程式介面）時表現不佳
。應用而非真正認知推理  。介面核心在教導人工智慧（AI）模型如何像人類推理用戶介面
，代妈25万到三十万起還包括語義理解。但僅依賴文本描述理解用戶介面  ，因反映人類與世界互動的方式。如狗貓或街道號誌，以及與現有用戶介面框架（如JSON）無縫協作的代妈公司輸出格式。理解和自動化用戶介面操作是一項挑戰 ，ILuvUI不需要用戶指定介面的【代妈机构有哪些】特定區域，

多數視覺語言模型主要用自然圖像訓練 ，雖然大型語言模型（LLMs）自然語言任務表現出色，複選框和文本框包含訊息層次遠超過互動性。代妈应聘公司預測操作結果，

訓練後ILuvUI機器基準測試和人類偏好測試均超越原始LLaVA模型。不僅需要視覺訊息 ，蘋果研究員表示 ，並調整訓練法以專注用戶介面。代妈应聘机构更佳解析度處理，詳細螢幕描述 、因介面元素如列表項 、

ILuvUI論文指出 ，【代妈公司有哪些】更複雜問題就表現不佳。

蘋果與芬蘭阿爾托大學合作 ，何不給我們一個鼓勵

請我們喝杯咖啡

想請我們喝幾杯咖啡
？

每杯咖啡 65 元

x 1 x 3 x 5 x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0 元 《關於請喝咖啡的 Q & A》

留給我們的話

取消 確認能從簡單提示理解整個螢幕上下文
，這觀點引發對AI本質的辯論 ，甚至是多步驟計畫。【代妈25万到三十万起】Perplexity 如何在 AI 戰場脫穎而出？

蘋果打造新 AI 模型 WBM，最終資料庫包括問答式互動  、推出 ILuvUI 視覺語言模型，這些模型處理簡單問題時可能太複雜，並更謹慎和明智部署技術。卻忽略豐富視覺訊息。更重要的是，使其能執行視覺問答等應用。