Как правильно использовать рендер ферму

Основной тренд последних лет – увеличение потребления визуального контента. Больше фильмов, анимации, бизнес графики, мэппингов и тому подобного требует бесперебойной отгрузки контента визуализаторами. Сроки производства при том только сокращаются. Все началось с больших рендер ферм, которые
киностудии создавали для себя. Они были изолированы от всего мира по причине внутреннего использования и слабого развития Интернет-каналов для доступа извне. Повсеместное развитие Интернет сетей, рост пропускной способности значительно повысили доступность удаленных центров обработки данных для разных видов вычислений. В дальнейшем это и привело к буму облачных сервисов, в числе которых и рендер фермы для рендеринга компьютерной графики.

Онлайн рендер ферма – это идеальное решение для отдельных фрилансеров и студий, которым необходим доступ к значительным рендер мощностям по требованию. Время на загрузку исходных данных и рендеринг кратно меньше времени рендера на собственном компьютере и даже нескольких компьютерах студии. Для крупных разрешений даже отправка статичных кадров на ферму имеет смысл – рендер одного изображения может идти в распределенном режиме с использованием значительного количества серверов. В конечном итоге, время – это всегда деньги и с помощью рендер ферм можно немало этого времени сберечь. Помимо этого, использование фермы даже студии спасает от следующих проблем:

• Необходимости инвестировать значительные средства в серверную комнату
• Потребности покупать, продлевать, распределять дополнительное количество лицензий на софт
• Решения проблем с железом
• Необходимости покупать новые комплектующие и серверы каждые 3-5 лет
• Решать проблему простоя оборудования, когда потребности в ферме нет, а обслуживать железо надо и электричество оно тоже жрет.

Обычно, рендер сервисы предоставляют собственное программное обеспечение в виде различных плагинов для установки на ваш графический пакет, которые позволяют использовать удаленные мощности фермы просто как еще один инструмент, встроенный в обычный производственный пайплайн.
Как и любой инструмент для работы с графикой, однако, отправка тасков на рендер-ферму это не волшебная палочка и пользоваться им нужно с умом. В противном случае, можно оказаться в ситуации, когда на руках пачка некорректно отрендеренных кадров, а деньги уже сгорели и при этом никакой вины рендер фермы в этом нет.

Как вы знаете, одним топором можно и дом построить и руку себе отрубить. Поэтому важно понимать как и для чего использовать инструмент в виде рендер фермы, а я помогу вам в этом разобраться, чтобы избежать типичных ошибок и понять как эффективно использовать ресурсы ферм к своей максимальной выгоде.

Как вы знаете, одним топором можно и дом построить и руку себе отрубить. Поэтому важно понимать как и для чего использовать инструмент в виде рендер фермы, а я помогу вам в этом разобраться, чтобы избежать типичных ошибок и понять как эффективно использовать ресурсы ферм к своей максимальной выгоде.

Как оценить затраты на рендер ферму? Вопрос очень важный, денежный и частый, но… Важно уяснить, что на данный момент способов корректно и с приемлемой точностью оценить, предсказать, спрогнозировать время рендера сцены, не делая этот самый рендер частично или полностью НЕ СУЩЕСТВУЕТ. Все, расходимся!

Нет, серьезно. Ни в одном софте, учитывая бесконечное количество параметров и настроек, вариативность материалов, текстур, освещенности и внешних плагинов невозможно предсказать время рендера не делая этот самый рендер. ИТ гиганты вроде Google давно работают над решением этой проблемы, но даже с их ресурсами, помощи разработчиков софта и большим накопленным данным хорошего решения, по крайней мере публичного – просто нет.
Однако, примерную, грубую оценку получить можно. У каждой рендер фермы есть измеримая единица производительности, на основе которой в дальнейшем рассчитывается и цена. Это может быть стоимость рендеринга на одном сервере за 1 час, Гигагерц мощности в час или что-то подобное. На основании этой информации можно сравнить цены ферм между собой и примерно оценить стоимость рендера вашего проекта. Все рендер фермы имеют собственные калькуляторы стоимости, которые помогут рассчитать цену рендера до начала использования сервиса.

Калькуляторы стоимости рендера.

Рендер фермы не могут предсказать затраты на рендер, просто основываясь продолжительности анимации, количестве кадров и их разрешении или количестве полигонов. Как и говорили выше – пока это утопия.

Калькуляторы оценки стоимости рендера используют схожий метод и он довольно прост. Они делают сравнение производительности сервера фермы относительно вашего компьютера. Полученное соотношение применяется к среднему времени рендера на вашем компьютере, умножается на количество кадров и стоимость за единицу производительности на ферме.

Давайте посмотрим на примере калькулятора стоимости рендера крупнейшей рендер-фермы – Rebus Farm.

Первым делом в калькуляторе мы видим предпреждение, что калькулятор делает только приблизительную оценку и для более точного прогноза времени рендера сцены рекомендуются сделать несколько тестовых кадров на ферме.

Далее мы выбираем CPU или GPU рендер (Octane, Redshift), анимацию или статичную картинку будем рендерить и время рендера кадра на ВАШЕМ компьютере – я задаю анимацию, 100 кадров, по 60 минут на кадр.

Потом нужно ввести информацию о СВОЕМ компьютере, на котором было получено такое время рендера. Выбираю i7-8700K.

Получаем расчет. 1 Ггц/час на Ребусе стоит на данный момент 86 копеек, а чтобы полностью отрендерить проект с заданными параметрами 6700 рублей или 93 евро. Немало с одной стороны, но получается у меня рендер бы занял 4+ дня безостановочной работы компьютера, а тут я могу получить результаты через 30-60 минут где-то. Не стоит забывать, что мне и дальше еще нужно продолжать работать над проектами, я не могу на 4 дня уйти в рендер фазу и забить на все остальное.

Цена на рендеринг варьируется от сервиса к сервису, зависит от тарифных планов и приоритетов. Большинство рендер ферм предлагают значительные скидки или пакеты бонусов при пополнении баланса на значительные суммы. Как правило, дополнительная выгода предлагается не в виде скидки на стоимость пакета услуг, а через начисление дополнительных бонусов к сумме купленных.

Из чего складываются временные затраты при работе с рендер фермой?
• Общее время рендеринга проекта – зависит от размера, сложности и, в конечном счете, времени рендера каждого кадра на сервере
• Время ожидания в очереди – зависит от приоритета/тарифного плана, загруженности всей рендер-фермы, а также наличия или отсутствия очереди задач впереди вас
• Количество выделенных нод на ваши задачи – определяется так же свободностью ресурсов и вашим тарифным планом. Как правило рендер-фермы стараются направить максимум ресурсов на задачи, если есть свободные серверы
• Технические проблемы – иногда для корректного результата требуется ручное вмешательство специалистов рендер-фермы, поэтому время тут зависит от типа обстоятельств и скорости реакции поддержки сервисов

Как и отмечалось ранее, калькуляторы стоимости на рендер фермах это инструмент для быстрой, но очень грубой оценки затрат на рендеринг и относиться к полученным цифрам нужно как к примерному порядку стоимости, который легко может отличаться от реальной стоимости даже на маленькой секвенции на 20-30-40% в обе стороны.
Калькулятор стоимости не берет в расчет затраты времени на открытие сцены, время на просчет глобального освещения и много других нюансов. Именно поэтому у всех рендер-ферм рядом с калькулятором висит предупреждение, что оценка весьма приблизительная и за точность никто ответственности не несет.

Давайте посмотрим внимательнее на варианты использования облачных ресурсов для рендера и их плюсы и минусы.

Варианты использования облачных ресурсов

Онлайн сервисы по рендерингу используют кластеры достаточно быстрых серверов, которые имеют высокоскоростное подключение к Интернету. Серверные процессоры используются достаточно современные, как правило Intel Xeon, но, конечно, не самые дорогие и производительные модели. Мощь и эффективность рендер фермы заключается в масштабируемости и возможности распределения вычислений на большое количество серверов. Если у вас топовый процессор i9 или Ryzen Threadripper, то вполне возможно, что ваш компьютер окажется быстрее обычного сервера на рендер ферме. Однако, соль в том, что на вашу анимацию ферма может легко выделить 50-100-200 и больше серверов!

В облаке у вас есть следующие варианты использования ресурсов:

Использовать облачный рендер сервис (рендер ферму), что позволит легко отправлять свои кадры на рендеринг на большом количестве серверов. Эта вариант предполагает значительную (зависит от фермы, конечно) степень автоматизации процессов, кроме того, сервис берет на себя затраты по хранению данных, нужное количество лицензий для софта на своем оборудовании. Получается комплексная услуга по принципу «все включено», где вы платите только за время рендеринга без каких-либо комиссий, дополнительных платежей за софт, поддержку, передачу данных и т.п.

Обратиться к сервисам кооперативного рендеринга, где каждый «сервер» это чей-то личный компьютер и его владелец добровольно бесплатно предоставляет его ресурсы на время для рендеринга чужих проектов, а потом вы должны компенсировать сообществу затраченные ресурсы, предоставляя свой компьютер по той же модели.

Классическая аренда сервера предполагает получение доступа к мощному серверу, на котором можно работать и/или рендерить как на своем рабочем компьютере.
Инфраструктура как услуга (IaaS) – это общая модель работы облачных провайдеров, которая позволяет вам самостоятельно сконфигурировать нужную инфраструктуру под себя: выделить нужное количество серверов нужной производительности, взять нужное хранилище и т. д. Вопросы администрирования этой инфраструктуры, настройка софта, его лицензирование при этом остаются на вас.

У каждого из вариантов есть свои преимущества и недостатки:

Рендер фермы

• Услуга по требованию, оплата только за продуктивный рендер без дополнительных платежей
• Рендеринг на большом количестве серверов
• Обычно предполагает хороший уровень автоматизации всех процессов
• Как правило фермы предлагают собственные плагины для разного софта (3ds Max, C4D, Maya, Houdini итд), которые за вас соберут нужные файлы сцены, отправят на ферму и скачают готовые кадры
• Простое и понятное отслеживание проектов, контроль затрат

Кооперативный рендеринг

• Это бесплатно (если не брать в расчет, что нужно будет дать тоже предоставлять свой компьютер)
• Двигается все это дело сообществом энтузиастов
• Нет защиты данных
• Нельзя спрогнозировать время готовности рендеринга
• Если что-то нестандартное используем в сцене – будут проблемы
• Никаких гарантий, что железо отдельных пользователей подойдет для проекта (например, по RAM)

Аренда сервера

Ручная настройка
• Возможность править, рендерить проект по своему усмотрению
• Любые тесты/правки без необходимости перезаливать проект на сервер
• Возможность в реальном времени следить за статистикой рендера, смотреть в фрейм буфер
• Никаких ожиданий в очереди, только монопольное использование
• Потенциально меньше ошибок из-за отсутствия скриптов рендер фермы
• Можно рендерить на редком софте, с самописными шейдерами итд.

Аренда виртуальной архитектуры в облаке для рендера

• Огромные возможности по индивидуальной настройке среды под себя
• Высокая масштабируемость (условно – неограниченные ресурсы)
• Подходит для больших студий или огромных проектов, требующих индивидуального решения
• Можно использовать редкий или кастомный софт
• Нужны специальные знания для настройки и встраивания в пайплайн производства
• Требуется значительное время на настройку
• Тарификация идет с момента выделения ресурсов, даже если они в простое
• Тарифицируется все от места на хранилище до трафика
• Нужно большое количество лицензий на софт

Основные этапы при работе с рендер фермами:

Подготовка сцены и загрузка

На первом этапе нужно избавиться от абсолютных зависимостей в сцене и заменить их относительным. Это относится, например, к путям для внешних ассетов: среда на ферме отличается от структуры на вашем компьютере и тем более от окружения в вашей студии. Большинство специальных плагинов рендер ферм при отправке проекта на ферму перебьют эти пути за вас и внесут нужные изменения, чтобы при рендеринге все ассеты нашлись и подтянулись корректно. Некоторые сервисы с низким уровнем автоматизации просто предоставляют пользователям инструкцию как собрать проект для рендеринга, запаковать в архив и закачать вручную.
После такой подготовки сцена загружается софтом на ферму (некоторые фермы поддерживают так же загрузку через FTP клиенты и даже веб интерфейс).

Рендеринг и управление задачами

После загрузки и запуска ваш проект отправляется на определенное количество серверов при помощи рендер менеджера. Каждому из серверов требуется определенное время, чтобы открыть вашу сцену. Время существенно зависит от размера и сложности проекта и даже несмотря на мощную внутреннюю сеть между хранилищем данных и серверами, это длиться от нескольких секунд до нескольких минут.
Каждый из серверов в зависимости от вашего проекта запускает нужный софт и открывает в нем вашу сцену. Вы, наверно, и сами замечали насколько долго иногда на вашем компьютере открываются тяжелые сцены. Помимо сложности, время открытия зависит и от самого софт – где-то быстрее, где-то медленнее.

Время на открытие сцены не учитывается при расчете на калькуляторе стоимости, но тарифицируется в дальнейшем. Обычно все берут только время чистого рендера для расчетов, забывая про время открытия сцены. Важно отметить, что у каждой рендер фермы центр обработки данных устроен по-разному и даже если конфигурации железа будут идентичными, всегда будут отклонения по времени рендера как в плюс, так и минус.

На этом этапе вы можете отслеживать прогресс рендеринга через личный кабинет или специальный софт (в отдельных случаях у ферм даже есть мобильные приложения), при необходимости менять тарифный план. По окончании рендера или если возникнут ошибки, как правило, рендер фермы присылают вам уведомление.

Скачивание готовых кадров

Когда кадры отрендерились их можно скачать через FTP, веб интерфейс или специальный софт. Последний, обычно, синхронизируется кадры по мере готовности и вам не нужно качать большой архив после того как рендер завершился.

На что обратить внимание при работе с рендер фермами

Как вы поняли, все этапы работы с онлайн сервисами довольно простые и короткие, особенно, если ферма имеет свой софт для автоматизации процессов. Специализированное ПО просто помещает проект из вашего пайплайна с минимальными правками в среду рендер фермы и рендерит. Под капотом у софта скрывается немало сложных решений, чтобы максимально упростить взаимодействие, но нужно понимать, что среда в которой сцена будет рендерится на ферме всегда отличается от той, в которой вы ее изначально создавали.

Понятно, что основная цель рендер фермы – сэкономить вам время, но вместе с тем, это довольно сложный аппаратно-программный комплекс и технически сложная услуга, поэтому лучше всегда протестить, уточнить и проверить ряд моментов прежде, чем выходить на финальный рендер.

Всегда неплохо уделить время на рендер тестового кадра в сцене, даже если сцена еще не закончена. Таким образом можно будет выявить потенциальные проблемы – например, совместимости софта, плагинов и тогда у вас будет резерв времени на внесение изменений или на уточнение нюансов с поддержкой фермы. Конечно, это не отменяет необходимость тестового рендера уже на финальной сцене.

Важно познакомиться с одной или несколькими рендер фермами заранее, без жесткого дедлайна за плечами, чтобы было время спокойно разобраться. Плюсы такого подхода очевидны:

• Спокойное ознакомление с возможностями и инструментами рендер фермы
• Возможность проверить скорость передачи через Интернет на ферму и с нее
• Уточнить возможность поддержки специфического софта или плагинов с поддержкой, задать вопросы по работе с фермой
• Проверить корректно ли рендерятся ваши проекты на ферме. Для этих целей можно отрендерить пару кадров из уже сданного проекта и сравнить кадры с фермы с вашими

Ассеты из Интернета (отсутствующие пути, неправильные шейдеры)

Отдельно стоит предупредить с осторожностью использовать ассеты, скачанные из Интернета, потому что иногда они создают проблемы при рендеринге. Профессиональные онлайн магазины моделей, например, Evermotion, предлагают отличные модели, на 100% готовые к рендеру, но если вы качаете модели из разных мутных источников, в моделях могут быть незаполненные пути или ссылки на шейдеры других рендер движков, что гарантирует некорректный рендер в дальнейшем. Нужно проверять, что модели не ссылаются на отсутствующие текстуры или шейдеры из других рендереров.

Проверка поддерживаемого софта

На любой рендер ферме можно найти список софта, который сервис поддерживает, включая основные графические пакеты, рендер движки и сторонние плагины. Однако, принимая во внимание насколько широк диапазон софта для создания и рендеринга компьютерной графики, сколько существует плагинов, разных версий одного и того же софта и т.д. – лучше дважды свериться и убедиться, что ваш софт входит в число поддерживаемого, а потом, особенно в случае минимальных сомнений, написать в поддержку для уточнения.

Пропустим существенные различия в версии, например, 3ds Max 2018 и 3ds Max 2019, но даже отличия в одной цифре мелкого плагина могут послужить источником проблем в дальнейшем. Более поздние версии софта далеко не всегда совместимы с предыдущими, а ведь может оказаться так, что вы используете какой-то древний или вообще экспериментальный билд какого-то плагина. Короче говоря, лучше уточнить и выяснить!

В отдельных случаях рендер фермы могут помочь обновить или наоборот снизить версию отдельного софта на какой-то части серверов, чтобы корректно отрендерить ваш проект, но нужно разговаривать и договариваться. И тестовый рендер не помешает, как всегда.

Основные особенности рендер ферм

До выбора рендер фермы и запуска рендера, рекомендую уделить внимание особенностям работы, а иногда даже стоит вчитаться в пользовательское соглашение при регистрации. Вот несколько основных моментов, заслуживающих внимания:

Хранение данных на рендер ферме не предусматривает длительных сроков. Обычно через какое-то время после рендера (от пары дней до нескольких недель) ваши проекты и результаты будут удалены. Важно уточнить срок хранения данных, есть ли ограничения по объемам и нет ли дополнительных платежей за место.
Средства на счету онлайн сервиса обычно действуют бессрочно, но некоторые фермы могут и обнулять баланс спустя какое-то время. Лучше уточнить.
Политика возврата денег у различных ферм отличается, но по моему опыту, чаще рендер фермы не возвращают средства после покупки кредитов и пополнения счета.
Правила использования кредитов и бонусных средств для тестирования сервиса тоже отличаются значительно, но, обычно, при регистрации вам сервис начисляет какое-то количество средств бесплатно, а потратить вы можете только на тестовые кадры. Такие кадры будут иметь водяные знаки и/или будут сделаны в меньшем разрешении.
Все онлайн сервисы работают 24/365, в идеале, техническая поддержка тоже должна быть круглосуточной.

Соглашение о неразглашении

Как и любые облачные сервисы, рендер фермы предпринимают значительные меры по защите данных пользователей и соглашение о неразглашении – важная часть пользовательского соглашения. Если вам нужны дополнительные гарантии, можно запросить подписание отдельного соглашения с фермой.

Скидки на рендер фермах

Если вы собираетесь рендерить большой проект или постоянно использовать какой-то конкретный сервис, будет полезно подробно изучить скидки за единоразовые крупные пополнения и политику специальных акций и предложений. Все что сэкономлено, то заработано!

Выводы:

Первый опыт с рендер фермами может быть довольно противоречивым. Существует много разных сервисов, с разными подходами и инструментами и требуется время, чтобы посмотреть, протестить и разобраться в них. И только потом придут удобство, простота и экономия времени.

Первым делом нужно проверять поддерживается ли ваш софт, какие у фермы цены. Можно сравнить несколько ферм по калькуляторам, но многие факторы, влияющие на реальную стоимость, все же будут упущены. В любые предварительные оценки и прогнозы я советую закладывать дополнительно 20-30% смело.

Неплохая идея – делать тесты не только с финальными версиями сцены, но и в процессе работы. Это поможет пораньше узнать о возможных проблемах и исправить, избежать их в дальнейшем. В итоге это сильно облегчит финальную фазу чистовых рендеров, когда давит дедлайн и градус напряженности растет.

Автор: rendertimes.ru

Зарегистрируйтесь или авторизуйтесь чтобы проголосовать или оставить комментарий