По мере того как крупные языковые модели (LLM) все чаще внедряются в чат-боты, виртуальных помощников, службы перевода, инструменты для кодирования и другие приложения на базе искусственного интеллекта, быстрая и эффективная доставка ответов становится все более сложной задачей. Поскольку эти модели генерируют текст по одному токену за раз, логический вывод может быть медленным и дорогостоящим с точки зрения вычислений, особенно для больших моделей. Хотя спекулятивное декодирование стало многообещающим подходом к ускорению логического вывода, многие существующие методы либо требуют дополнительного обучения модели, либо с трудом поддаются согласованию на разных аппаратных платформах.
Новости от techxplore
