YaLM-100B

Нейросеть Яндекс. Я немного тупой, вот описание настройки:
Make sure to have 200GB of free disk space before downloading weights. The model (code is based on microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) is supposed to run on multiple GPUs with tensor parallelism. It was tested on 4 (A100 80g) and 8 (V100 32g) GPUs, but is able to work with different configurations with ≈200GB of GPU memory in total which divide weight dimensions correctly (e.g. 16, 64, 128).
Перевод:
Перед загрузкой весов убедитесь, что у вас есть 200 ГБ свободного места на диске. Модель (код основан на Microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3) должна работать на нескольких графических процессорах с тензорным параллелизмом. Он был протестирован на 4 (A100 80g) и 8 (V100 32g) графических процессорах, но способен работать с различными конфигурациями с общей памятью графического процессора ≈200 ГБ, которые правильно делят весовые размеры (например, 16, 64, 128).

Звучит классно.

А если запросов в яндексе тысячи то какие мощности там?) Ну типа, если мне нужен ответ который я могу подождать, то может 250 гб и не надо?