Вы не зашли.
Главная » Компьютеры/Софт » YaLM-100B
#1. semmit69 Off (-4)
Участник
2022.06.25 16:04
YaLM-100B

Нейросеть Яндекс. Я немного тупой, вот описание настройки:
Make sure to have 200GB of free disk space before downloading weights. The model (code is based on microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) is supposed to run on multiple GPUs with tensor parallelism. It was tested on 4 (A100 80g) and 8 (V100 32g) GPUs, but is able to work with different configurations with ≈200GB of GPU memory in total which divide weight dimensions correctly (e.g. 16, 64, 128).
Перевод:
Перед загрузкой весов убедитесь, что у вас есть 200 ГБ свободного места на диске. Модель (код основан на Microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) должна работать на нескольких графических процессорах с тензорным параллелизмом. Он был протестирован на 4 (A100 80g) и 8 (V100 32g) графических процессорах, но способен работать с различными конфигурациями с общей памятью графического процессора ≈200 ГБ, которые правильно делят весовые размеры (например, 16, 64, 128).

Звучит классно.
#2. Gemorroj Off (107)
Administrator
2022.06.26 10:10
там ссылка на хабр есть https://habr.com/ru/company/yandex/blog/672396/ минимум 250гб gpu ram нужно. так что мне видится, это для узкого круга предприятий решение.
#3. semmit69 Off (-4)
Участник
2022.06.30 16:04
Gemorroj написал:
там ссылка на хабр есть https://habr.com/ru/company/yandex/blog/672396/ минимум 250гб gpu ram нужно. так что мне видится, это для узкого круга предприятий решение.
А если запросов в яндексе тысячи то какие мощности там?) Ну типа, если мне нужен ответ который я могу подождать, то может 250 гб и не надо?
Отредактировано semmit69 (2022.06.30 17:05)
#4. Gemorroj Off (107)
Administrator
2022.07.01 09:09
не знаю. судя по каментам - 250гб gpu ram - это обязательные минимальные требования
Страниц: 1
Главная
WEB
PunBB Mod v0.6.2
0.010 s