自最新的通義千問大模型Qwen3發布以來，憑借其優秀的模型表現，備受關注。在當前AI大模型快速發展的時代，AMD AI生態伙伴模優優科技繼成功實現DeepSeek V3大模型的AI PC優化部署后，第一時間成功將全尺寸Qwen3-235B模型優化，部署到基于AMD銳龍 AI Max+ 395處理器的mini PC上，推理速度達到14tokens/s。

AMD銳龍AI Max+ 395：為大模型量身打造的終端算力

AMD 銳龍 AI Max+ 395處理器擁有16核32線程、最高加速時鐘頻率5.1GHz，集成了基于RDNA 3.5架構的40個計算單元的Radeon 8060S GPU，以及高達50+ TOPS 的"XDNA 2"架構 NPU。

模優優科技的技術團隊充分利用了AMD銳龍AI Max+ 395的獨特架構特性，特別是其統一內存設計和高達96GB的可分配顯存，通過定制化的內存調度策略和深度量化優化，成功克服了大模型在端側部署的內存和計算瓶頸，使全尺寸Qwen3-253B模型能夠在AI PC上流暢運行。

Qwen3全尺寸模型端側高效部署

模優優科技憑借自身深厚的技術積累，將這一全尺寸模型成功優化并部署到采用AMD銳龍 AI Max+ 395處理器的惠普和華碩筆記本電腦，以及極摩客的mini PC上。而在極摩客的 EVO-X2 mini PC上，推理速度達到14tokens/s，實現了端側設備上大模型高效部署的創新。

值得一提的是，模優優科技基于創新的混合量化技術和策略，在保證推理速度的同時，也能保證Qwen3-235B在mini PC端側部署的推理精度，相較于傳統常見的端側Q4量化32B，70B模型提升明顯，以及對比同尺寸的Q8量化Qwen3模型，精度接近。

"我們的異構加速方案徹底改變了大模型部署的成本結構與性能邊界，使企業和個人用戶都能在本地設備上體驗全尺寸Qwen3-253B帶來的強大AI能力。"模優優科技創始人兼CEO王言治博士表示，"14tokens/s的推理速度意味著用戶可以獲得流暢的對話體驗，而無需依賴云端資源。"

模優優異構加速方案的技術亮點

模優優科技基于對AMD平臺的深度優化，為Qwen3-253B模型部署提供了全面的異構加速解決方案：

精細量化與內存優化：針對Qwen3模型的混合專家架構特性，模優優團隊采用了差異化量化策略，對關鍵層和路由專家進行精細量化處理，在保持模型精度的前提下，顯著降低了內存需求。

多硬件協同加速：方案充分整合了GPU和CPU資源，實現了硬件資源的高效利用，推理速度達到14tokens/s，為用戶提供媲美云端的對話體驗。

動態計算調度：針對Qwen3模型支持思考模式和非思考模式切換的特性，模優優技術團隊開發了自適應計算調度系統，根據任務復雜度動態分配計算資源，實現性能與體驗的最優平衡。

對企業和個人用戶的價值

隱私安全保障：大模型完全在本地運行，敏感數據無需上傳云端，從根本上解決數據安全問題。

成本顯著降低：相比云端API調用，本地部署可大幅降低長期使用成本，尤其適合高頻率使用場景。

離線使用能力：無需依賴網絡連接，即可隨時隨地獲得強大的AI助手支持。

解決方案可擴展：模優優的異構加速技術可應用于更廣泛的硬件平臺，為不同行業場景提供定制化解決方案。

未來展望

隨著Qwen3系列模型的發布和端側部署能力的突破，模優優科技與AMD將持續合作，推動AI解決方案在更多端側場景化應用落地，進一步釋放大模型在終端的應用潛力。