semmit69 » 2022.06.25 16:39

YaLM-100B

Нейросеть Яндекс. Я немного тупой, вот описание настройки:
Make sure to have 200GB of free disk space before downloading weights. The model (code is based on microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) is supposed to run on multiple GPUs with tensor parallelism. It was tested on 4 (A100 80g) and 8 (V100 32g) GPUs, but is able to work with different configurations with ≈200GB of GPU memory in total which divide weight dimensions correctly (e.g. 16, 64, 128).
Перевод:
Перед загрузкой весов убедитесь, что у вас есть 200 ГБ свободного места на диске. Модель (код основан на Microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) должна работать на нескольких графических процессорах с тензорным параллелизмом. Он был протестирован на 4 (A100 80g) и 8 (V100 32g) графических процессорах, но способен работать с различными конфигурациями с общей памятью графического процессора ≈200 ГБ, которые правильно делят весовые размеры (например, 16, 64, 128).

Звучит классно.

Gemorroj » 2022.06.26 10:28

там ссылка на хабр есть https://habr.com/ru/company/yandex/blog/672396/ минимум 250гб gpu ram нужно. так что мне видится, это для узкого круга предприятий решение.

semmit69 » 2022.06.30 16:59

Gemorroj написал:

там ссылка на хабр есть https://habr.com/ru/company/yandex/blog/672396/ минимум 250гб gpu ram нужно. так что мне видится, это для узкого круга предприятий решение.

А если запросов в яндексе тысячи то какие мощности там?) Ну типа, если мне нужен ответ который я могу подождать, то может 250 гб и не надо?

Gemorroj » 2022.07.01 09:21

не знаю. судя по каментам - 250гб gpu ram - это обязательные минимальные требования