ZeroPoint представила ZeroStream для апаратного стиснення пам’яті ШІ-прискорювачів

Шведська ZeroPoint Technologies представила ZeroStream — блок апаратної інтелектуальної власності для стиснення даних у пам’яті ШІ-прискорювачів, центрів обробки даних і периферійних пристроїв. Рішення має збільшувати ефективну пропускну здатність на наявних фізичних каналах пам’яті, не змінюючи точність даних через квантування. Для систем генеративного ШІ це означає можливість передавати більше ваг моделі, активацій і кешу ключів та значень за той самий час.

Заявлені характеристики ZeroStream

Компанія вказує стиснення ваг великих мовних моделей до 1,5 раза, у середньому дворазове покращення для активацій і KV-кешу та приріст ефективної пропускної здатності на 20–35%. Для окремих навантажень заявлений показник сягає 50%. Стиснення є безвтратним, а затримка — детермінованою та незалежною від конкретного набору даних, що важливо для проєктування апаратних конвеєрів.

ZeroStream орієнтований на застосунки, де швидкодію обмежує не кількість обчислювальних блоків, а швидкість обміну з пам’яттю. До таких сценаріїв належать генерація токенів великими моделями та робота систем комп’ютерного зору на пристроях із жорсткими обмеженнями за обсягом пам’яті й енергоспоживанням. Розробники чипів можуть вбудовувати блок у власні архітектури як ліцензований компонент.

Разом із запуском ZeroPoint оновила структуру продуктового портфеля, до якого тепер входять ZeroStream, ZeroConnect, ZeroStorage і ZeroAI. Компанія не оприлюднила ціну ліцензування або перелік перших виробників, які вже інтегрують новий блок.