Acrab发布边缘AI终端SoC GΞLIX 1，支持100B模型本地运行

7月23日，一家名为Acrab的初创公司正式发布了他们的首款芯片——面向边缘AI终端设备的GΞLIX 1 SoC。这东西可不得了，基于5nm制程工艺，直接支持100B参数规模模型本地运行。换句话说，那些动辄百亿级参数的大模型，现在可以在边缘设备上跑起来了，这无疑是个重要信号。

GΞLIX 1采用异构设计，内部集成了20核Arm CPU、3TFLOPS GPU、NPU以及一系列音视频引擎，AI算力达到650TOPS。更值得关注的是它的缓存和内存配置：拥有8MB的大型L1缓存，共享L2缓存带宽高达768GB/s，再加上256-bit 8533T/s的LPDDR5X共享内存。这些数字放在边缘芯片里，堪称豪华配置。

Acrab在GΞLIX 1上通过矢量硬件加速了注意力机制，并且针对预填充阶段做了专门优化，显著降低了首Token用时。具体来看，在配备40k KV缓存和10k Token输入的Gemma 26B A4B配置下，GΞLIX 1可实现1416.8 Token/s的预填充速率——这个成绩是苹果M4 Pro Mac Mini的7.5倍。差距确实有点惊人，但也能看出Acrab在架构设计上的取舍方向。

除了芯片本身，Acrab还为GΞLIX 1提供了丰富的软件堆栈和智能体参考设计，并基于这套方案打造了第一方终端设备Agent Box。这意味着他们不仅提供硬件，更试图构建一个完整的边缘AI生态。从芯片到软件再到终端设备，这一条龙打法，显示出Acrab的野心绝不只是做一颗芯片那么简单。