Новейшее оборудование Apple делает что-то довольно неожиданное в области искусственного интеллекта, хотя в нем есть очевидный подвох. Было показано, что iPhone 17 Pro работает с локальной языковой моделью с 400 миллиардами параметров, что звучит почти нереально для телефона.
Демо-версия взята из проекта с открытым исходным кодом под названием Flash-MoE, которым поделился разработчик @anemll. Моделям такого размера обычно требуется более 200 ГБ оперативной памяти для равномерной загрузки, поэтому запуск одной из них на устройстве с 12 ГБ оперативной памяти в обычном понимании этого слова невозможен.
В данном случае все немного по-другому. Вместо того, чтобы загружать всю модель целиком в память, система извлекает из хранилища отдельные фрагменты по мере необходимости. Кроме того, она использует комбинацию настроек экспертов, при которых в любой момент активна только небольшая часть модели. Именно это сочетание позволяет ей вообще работать.
Проблема в скорости. Или, скорее, его отсутствие. Скорость генерации составляет около 0,6 токенов в секунду, что означает, что вы ждете одно слово несколько секунд. Это настолько медленно, что даже простые подсказки начинают казаться испытанием на терпение. Разрядка аккумулятора — еще одна вероятная проблема, хотя при такой нагрузке это вполне ожидаемо.
Тем не менее, на это интересно посмотреть. Не потому, что это можно использовать прямо сейчас, а потому, что это показывает, к чему все может привести. Не так давно даже не обсуждался вопрос о том, чтобы запускать что-то настолько крупное полностью на устройстве, не полагаясь на облако.
Однако на данный момент существует явный разрыв между тем, что возможно, и тем, что действительно имеет смысл использовать. Практичным выбором по-прежнему остаются модели меньшего размера. Но эксперименты, подобные этому, дают представление о том, с чем будущие телефоны в конечном итоге могут работать более комфортно.
