Google Colab или свой GPU: тариф или покупка железа?

Как выбрать подходящее для своих задач решение? Почему я так и не попробовал платные тарифы Google Colab?

Преимущества бесплатного Google Colab

Перед подпиской или покупкой GPU стоит потестировать бесплатный колаб – для абсолютного большинства разработчиков его будет более чем достаточно.

На бесплатном ускорителе в Colab удается обучать сетки на скорости, сопоставимой с RTX3080.

Когда суточный лимит бесплатного тарифа исчерпан – можно авторизоваться другим акаунтом Google, открыть в нем блокнот и продолжить эксперименты.

Недостатки Google Colab

Придется мириться с некоторыми неудобствами:

Сервис периодически проверяет, находитесь ли вы за компьютером и прерывает сессию, в случае вашего отсутствия. На тарифе Pro+ позволяет работать в фоне до 24 часов.

При перезапуске сессии придется заново скачивать и устанавливать все дополнительные пакеты, библиотеки, датасеты и т.п.

У подписчиков Colab Pro за каждый час подключения расходуются compute units. Чем более мощный ускоритель вы выбрали – тем быстрее заканчиваются эти юниты.

Страница с тарифами и их описанием вообще не даёт никакого представления о том, хватит ли вам подписки за 9.99$ или нужно сразу брать за 49.99$ (относительную стоимость часа каждого ускорителя можно посмотреть в этой таблице: GPU pricing).

Google Colab или свой GPU: тариф или покупка железа?

Узнать расход вычислительных единиц получится только после оплаты и запуска среды. Если выбрать ускоритель T4, то 10$ вам хватит примерно на 50 часов работы. А если выбрать мощный A100 и 80Гб памяти, то меньше, чем на 8 часов. Смотрите скриншоты ниже.

Преимущества мощного локального GPU

Переход на свой GPU ощущается как резкое ускорение всего и вся. Пропадают сетевые задержки, всё выполняется молниеносно, никаких подключений-отключений, загрузок… А также:

Нет ограничений по длительности сессии, сколько бы вы не отсутствовали – сессия не закроется, обучение не прервется, результаты не потеряются.

Не нужно каждую сессию устанавливать и скачивать все дополнительные пакеты.

Никаких проблем с дисковым пространством и его скоростью, модели 2-4Гб загружаются с SSD в ОЗУ за пару секунд.

Не нужно следить за временем подключения, переживать за расходуемые вычислительные юниты и необходимость что-то доплачивать.

Недостатки локального GPU

Покупка и настройка железа может быть удовольствием, но также это траты денег, времени, пространства.

Видеокарты RTX3080/3090 очень горячие (350Вт) и очень шумные. Качественно продуть закрытый корпус практически невозможно (если запускаете вычисления с полной нагрузкой на 10 минут и дольше), приходится открывать боковую крышку, либо вообще не закрывать.

Отсутствие мобильности. В случае длительных поездок нужно предусмотреть удаленный доступ, возможность отключить/включить питание через wi-fi реле и т.п.

Сравнение затрат

Может показаться, что на стоимость компьютера с нелохим GPU можно несколько лет арендовать Colab Pro+ и не знать никаких проблем. Но при расчете следует учитывать следующие факторы:

Флагманы прошлых лет (RTX3080/RTX3090) можно приобрести на вторичном рынке со скидкой до 60%. На них нет массового спроса от геймеров, как на карты вроде RTX3060. В тоже время обеспеченные игроки покупают серию 4000.
У компьютера и видеоадаптера есть остаточная стоимость, даже если купить б/у, то спустя 3-5 лет он всё еще будет стоить денег на вторичном рынке. Подписка же расходуется раз и навсегда.
У россиян есть трудности с оплатой сервисов Google и нельзя быть уверенным, что завтра будут работать те способы, которые сработали вчера.

Свой выбор я сделал, уже выкладывал небольшой обзор на канале на мой компьютер на базе Palit RTX3090 Gaming Pro, планирую в одной из следующих статей подробнее описать выбор компонентов и их стоимость.

Post Views: 3 690