#1 2022.06.25 16:39

semmit69
Участник
Откуда: N
Зарегистрирован: 2011.01.22
Сообщений: 398
Карма: -4
Профиль

YaLM-100B

YaLM-100B

Нейросеть Яндекс. Я немного тупой, вот описание настройки:
Make sure to have 200GB of free disk space before downloading weights. The model (code is based on microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) is supposed to run on multiple GPUs with tensor parallelism. It was tested on 4 (A100 80g) and 8 (V100 32g) GPUs, but is able to work with different configurations with ≈200GB of GPU memory in total which divide weight dimensions correctly (e.g. 16, 64, 128).
Перевод:
Перед загрузкой весов убедитесь, что у вас есть 200 ГБ свободного места на диске. Модель (код основан на Microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) должна работать на нескольких графических процессорах с тензорным параллелизмом. Он был протестирован на 4 (A100 80g) и 8 (V100 32g) графических процессорах, но способен работать с различными конфигурациями с общей памятью графического процессора ≈200 ГБ, которые правильно делят весовые размеры (например, 16, 64, 128).

Звучит классно.

Неактивен

#2 2022.06.26 10:28

Gemorroj
Administrator
Откуда: Белоруссия
Зарегистрирован: 2007.11.03
Сообщений: 6562
Карма: 107
Профиль Веб-сайт

Re: YaLM-100B

там ссылка на хабр есть https://habr.com/ru/company/yandex/blog/672396/ минимум 250гб gpu ram нужно. так что мне видится, это для узкого круга предприятий решение.

Неактивен

#3 2022.06.30 16:59

semmit69
Участник
Откуда: N
Зарегистрирован: 2011.01.22
Сообщений: 398
Карма: -4
Профиль

Re: YaLM-100B

Gemorroj написал:

там ссылка на хабр есть https://habr.com/ru/company/yandex/blog/672396/ минимум 250гб gpu ram нужно. так что мне видится, это для узкого круга предприятий решение.

А если запросов в яндексе тысячи то какие мощности там?) Ну типа, если мне нужен ответ который я могу подождать, то может 250 гб и не надо?

Отредактировано semmit69 (2022.06.30 17:00)

Неактивен

#4 2022.07.01 09:21

Gemorroj
Administrator
Откуда: Белоруссия
Зарегистрирован: 2007.11.03
Сообщений: 6562
Карма: 107
Профиль Веб-сайт

Re: YaLM-100B

не знаю. судя по каментам - 250гб gpu ram - это обязательные минимальные требования

Неактивен

Дополнительно

forum.wapinet.ru

PunBB Mod v0.6.2
0.009 s