Новости экономики и финансов. Курсы валют, ситуация на биржах, акции, котировки, аналитика: 💫 💫 💫 💫 💫 💫 💫 читайте на сайте

Майнинг на Виртуальной Машине Google

Настраиваем VM Instance Google Cloud для задач машинного обучения

Решение тяжелых задач машинного обучения на стационарных компьютерах дело неблагодарное и малоприятное. Представьте, что вы на домашнем ноутбуке делаете ансамбль из N нейронных сетей для изучения лесов Амазонки на ноутбуке. Сомнительное удовольствие, тем более, что сейчас есть прекрасный выбор облачных сервисов для этих целей — Amazon Web Services, Google Cloud Platform, Microsoft Azure и прочие. Некоторые даже относительно бесплатны и предоставляют видеокарты.

Мы будем настраивать VM на Google Cloud Platform с нуля. Бонусом — стартовые 300$ на год на один gmail аккаунт. Поехали.

  1. Создание и настройка Virtual Machine Instances
  2. Настройка сетевых параметров
  3. Установка Anaconda и дополнительных пакетов
  4. Настройка Jupyter Notebook
  5. Настройка File Transfer

1. Создание и настройка Virtual Machine Instances

Создаем аккаунт

С первых шагов может ввести в заблуждение тот факт, что Гугл безапелляционно квалифицирует вас как юридическое лицо без права смены статуса. Это норма с недавних пор и с этим придется смириться. Далее бесстрашно указываем платежные данные, деньги без предупреждения не снимутся, даже когда будет исчерпан бесплатный лимит.

Создаем Virtual Machine и подбираем параметры

Здесь есть несколько интересных моментов. Графические процессоры есть не во всех зонах. В европейских и западно-азиатских я не нашел, в южно-американских искать не стал, поэтому выбрал восточно-американскую зону. Там их можно хоть восемь настроить с абонентской платой 5000 долларов в час. Усредняем данные и настраиваем восемь процессоров, двадцать гигабайт оперативной памяти и один графический процессор. Все это удовольствие будет стоить 1 доллар в час.

Операционную систему можно выбрать на любой вкус. Берем понравившийся Linux дистрибутив и выставляем галочки «разрешить траффик». Настройку сети и SSH пропускаем. Их мы настроим дальше. И, наконец, один важный момент, снимите галочку с delete boot disk when instance is deleted. Это сохранит вам нервы, когда начнете создавать имейджи под разные задачи.

2. Настройка сетевых параметров

Настройка статического IP

По умолчанию внешний IP динамический. Сделаем его статическим и жить сразу станет гораздо проще. При привязке к проекту или виртуальной машине (как раз наш случай) — это бесплатно.

Настройка брандмауэра.

Jupyter Notebook — наш главный инструмент и ему будет нужен доступ к виртуальной машине. Создаем правило со следующими параметрами:

  • Разрешить входящий трафик
  • Указываем любой порт в разумных пределах. К примеру, 22-й не подойдет, на нем висит SSH.
  • Диапазон адресов делаем по умолчанию 0.0.0.0/0 (можно поменять)

Мы создали чистую VM и в итоге у вас должно получиться примерно так:
И самое главное — не забывайте выключать VM, когда закончили работу!

3. Установка Anaconda и дополнительных пакетов

Запускаем созданный Instance, подключаемся через SSH и для установки дистрибутива Анаконды вводим в командной строке:

В конце установки не забудьте ввести «yes», чтобы прописать переменную PATH
Ставим любимые пакеты:

И переходим к настройке Jupyter Notebook.

4. Настройка Jupyter Notebook

Вводим в командную строку (порт — который вы указали в настройках брандмауэра):
И теперь один интересный момент. Если у вас все прошло успешно, то после старта Jupiter Server в баше вы увидите примерно это:

Если перейти по ссылке, то в браузере вывалится ошибка авторизации, что совершенно очевидно. Для этого в строке браузера надо явно указать, созданный выше внешний статический IP:

Добро пожаловать на борт!

Теперь нам осталось только настроить File Transfer между нашей локальной системой и удаленной. Без этого леса Амазонки не изучить.

5. Настройка File Transfer

У нас загрузочный диск Linux и поэтому доступны четыре способа:

  1. Использование командной строки gcloud (private SSH keys обязательно)
  2. Через протокол SFTP в браузере. Это самый простой способ, не требующий SSH key и использующий нативный браузер. Обязательное условие — локальная система у вас Linux или Mac.
  3. Использование командной строки SDC (private SSH keys обязательно)
  4. Программа WinSCP для счастливых обладателей Windows (private SSH keys обязательно)

Подробно можно почитать здесь и выбрать наиболее понравившийся способ. У меня на ноутбуке Windows 10, поэтому выбор не богатый. Пойдем не самым простым путем и подробно рассмотрим четвертый способ.

Для начала необходимо сгенерировать SSH ключи. Скачиваем дистрибутив PuTTY и устанавливаем. С его помощью будем генерить ключи.

  1. Открываем puttygen.exe. Появится окно, где вы можете сгенерировать ключи.
  2. Оставляем все параметры по умолчанию кроме поля key comment. В него вводим имя пользователя удаленной системы. Скорее всего это ваш gmail аккаунт. Важно — не вся почта, а только та часть, которая до знака @. Я сначала прочитал инструкцию по диагонали и в итоге убил полчаса на то, чтобы понять, почему WinSCP возвращал ошибку.
  3. Сохраняем private key — его используем в WinSCP локально.
  4. Копируем текстовое поле private key (убедитесь, что скопировали полностью весь текст! На скриншоте лишь его часть)

  1. Идем в гугловские облака и там в «Метаданные —> SSH-ключи» добавляем скопированный ключ.

Осталось совсем немного, самая приятная часть — настроить файл-менеджер WinSCP.

  1. Скачиваем его здесь
  2. Настраиваем конфигурацию. Помним, что IP — это наш статический IP удаленной системы. Имя пользователя — аналогично PuTTY.

В дополнительных настройках указываем private key и выставляем галочки как на скриншоте.

Все! Наша боевая система готова к перевариванию тяжелых сверточных нейросетей и объемных данных.

Дополнительно хочу заметить, что использовать один Instance не очень разумно экономически. Разные задачи требуют разных ресурсов. Можно создать двенадцать виртуалок с разными настройками процессоров, памяти и графики или работать с имейджами. Экспериментируйте и любите данные.

7. Кликаем справа от ВОЙТИ ( Присоединяйтесь иконку ВК, FB, Google+ и Twitter )

Майнинг биткоинов с помощью браузера Google Chrome и CryptoTab Browser

Использование виртуальных машин AZURE для майнинга Монеро – есть ли в этом смысл

Майнинг на Виртуальной Машине Google

Вводя требуемые формулы, используя формат Jupiter Notebook, этот сервис позволяет решить очень тонкие задачи, к примеру, при каких условиях падает или растет внимание и производительность сотрудника, или предсказать по фото родителей — лицо будущего ребенка, да еще и с выбором возраста.

Сервис Google Collaboratory

Все зависит от вводных.

(читать далее...)
За все эти действия отвечает принцип машинного обучения, способный понимать формулы из физики, химии, биологии, фармакологии, да и просто — «косметические» формулы (если уж так выразиться).

Так майнеры же в шоке, тут скупили для Эфира 3080 карты, тужатся русские блогеры — рассказывают о б Эфире — а тут Google просто взял в пользование, еще дороже устройства. Они с майном — никак

но я правильно понимаю, что это ровно до тех пор, пока модераторы гугла не заметят и не кинут в бан все твои аккаунты с которых ты манишь?
Вывод в окне ниже, показывает, что мы с Вами «миллионеры» и позволили себе видеокарту Nvidia Tesla T4 — почти за 300.000 рублей.

Вводя требуемые формулы, используя формат Jupiter Notebook, этот сервис позволяет решить очень тонкие задачи, к примеру, при каких условиях падает или растет внимание и производительность сотрудника, или предсказать по фото родителей — лицо будущего ребенка, да еще и с выбором возраста.

на форумах пишут что 12 часов. это все на самом деле ерунда для человека, знающего как на каком-нибудь сишарпе написать скрипт, следящий за браузером и перезапускающий сессию раз в два часа. главное чтоб не забанили со стороны гугла.

§ но я правильно понимаю, что это ровно до тех пор, пока модераторы гугла не заметят и не кинут в бан все твои аккаунты с которых ты манишь?
а в чем прикол? почему бесполезно? если этот скрипт будет крутиться 24/7 и если тебе ничего не нужно поддерживать, то это по идее лишняя копеечка в месяц нахаляву, 200 руб за 4 часа = 1200 в день = 37к в месяц. в чем подвох?

Related posts

Добавить комментарий

*