可在離線環境下流暢實現多輪AI對話。可实推理速度超過20tokens/秒，现离线环芯片貝殼財經記者獲悉 ，话通
阿裏巴巴通義實驗室業務負責人徐棟介紹稱，义千
此外
，模型
MediaTek無線通信事業部副總經理李彥輯博士表示 ，落地算子優化等多個維度展開合作，手机首次實現大模型在手機芯片端深度適配。可实內存優化、现离线环芯片利用終端算力進行AI推理
，话通可離線運行即時多輪AI對話應用，义千同時促進生成式AI的模型端側部署以及AI應用 、連續推理功耗增量不到3W
，落地相關成果將以SDK（軟件開發工具包）的手机形式提供給手機廠商和開發者。新京報貝殼財經訊（記者羅亦丹）想要使用大模型 ，可实阿裏雲與MediaTek在模型瘦身 、但必須聯網
？未來可能一部手機便能支撐起AI對話的進行 。全球最大的智能手機芯片廠商MediaTek聯發科 ，期待通過雙方的合作可以為應用開發者和終端客戶提供更強大的硬件和軟件解決方案，給業界成功打樣端側AI的Model-on-Chip部署新模式 。真正把大模型“裝進”並運行在手機芯片中 ，標誌著Model-on-Chip（芯片上模型）的探索正式從驗證走向商業化落地新階段
。僅依靠終端算力便能擁有AI推理性能及功耗表現 ，通義千問18億參數大模型在推理時CPU占有率為30%左右 ，據了解
，推理優化 、雙方團隊也已完成了通義千問40億參數大模型與天璣9300的適配，實現了基於AI處理器的高效異構加速
，讓大模型可以更好地為用戶提供個性化體驗 。AI智能體生態的快速發展 。通義千問18億、可大幅降低推理成本 、40億參數大模型已成功部署進天璣9300移動平台，未來還將基於天璣適配70億等更多尺寸大模型 ，已成功在天璣9300等旗艦芯片上部署通義千問大模型 ，“打樣”並支持開發更多AI智能體及應用 。需完成從底層芯片到上層操作係統及應用開發的軟硬一體深度適配
，
基於天璣9300芯片
，算子不支持 、
端側AI是大模型落地的極具潛力的場景之一。RAM占用少於2GB ，開發待完善等諸多挑戰 。保證數據安全並提升AI響應速度
，3月28日 ，這是通義大模型首次完成芯片級的軟硬適配，工具鏈優化 、
具體來看 ，然而 ，存在技術未打通 、要將大模型部署並運行在終端，（文章來源 ：新京報）