Обучение больших языковых моделей обходится очень дорого. Дело не только в увеличении количества графических процессоров, но и в том, насколько эффективно вы их используете. А по мере масштабирования моделей даже небольшая неэффективность может обернуться огромными затратами времени и энергии. Теперь команда исследователей из Массачусетского технологического института, сотрудничающая с такими компаниями, как NVidia, заявляет, что нашла …
Исследователи удваивают скорость обучения ИИ, просто сокращая время простоя графического процессора
