麦享科技4月3日消息,华硕近日发布了旗下首款人工智能USB设备——UGen300 USB AI加速器,将强大的AI推理能力便捷地带到任何设备上。
这款外形小巧的加速器内置了Hailo-10H芯片,可提供高达40 TOPS的AI算力,并支持运行LLM和VLM等大型语言模型。

得益于对TensorFlow、PyTorch和ONNX等主流AI框架的广泛兼容性,它真正实现了开箱即用。加速器配备了8GB专用LPDDR4内存,通过高速USB 3.1 Gen2 Type-C接口连接设备,且在典型工作负载下功耗仅为2.5W,节能高效。
UGen300最大的亮点在于其即插即用的设计,确保了在Windows、Linux和Android系统上的跨平台兼容性。

它能有效补充主机CPU或NPU的计算能力,为AI任务提供强劲加速,从而释放系统资源,使得设备端的生成式AI推理无需依赖云端即可高效运行。
无论是文本生成、视频摘要等生成式AI任务,还是事件触发、语音指令转行动、实时感知等对性能要求较高的通用AI应用,UGen300都能在边缘侧实现高性能处理,推动高效AI的普及。

麦享科技






麦享生活微信小程序   麦享生活微信公众号
评论前必须登录!
注册