Новости экономики и финансов. Курсы валют, ситуация на биржах, акции, котировки, аналитика: 💫 💫 💫 💫 💫 💫 💫 читайте на сайте

Блокчейн Искусственный Интеллект Big Data

Big Data, блокчейн, машинное обучение — объясняем термины на ежиках

Искусственный интеллект и машинное обучение все чаще используются компаниями в маркетинге. О том, как и для чего они применяются в работе, расскажем в следующих статьях. А чтобы лучше понимать, как устроены эти технологии, мы подготовили для вас тематический словарь с наглядными примерами. Объясняем термины так просто, чтобы и ежу стало понятно.

Искусственный интеллект
Он же ИИ, Artificial Intelligence, AI

Точного определения не существует, совсем как в философии. Все зависит от того, что именно понимать под словами «разум» и «интеллект». Считать это только свойством людей? Или некоторые животные тоже разумны и обладают интеллектом? В целом, искусственный интеллект — это свойство систем имитировать либо психические процессы человека, либо разумное поведение и возможность совершать выбор.

Представьте, вы мечтаете завести ежа. Останавливает только аллергия на этих животных. Тогда друзья предлагают купить робоежика. Он должен уметь воспроизводить поведение настоящего ежа: фыркать, выражая свое недовольство, сворачиваться в клубочек, когда его пытаются погладить, громко топать лапками по ночам, любить хозяина и кусать незнакомых ему людей. Если ваш робоеж умеет все это, то можете смело говорить, что он обладает искусственным интеллектом.

Большие данные
Они же Big Data

Вроде сразу понятно, большие данные — это много каких-то данных. Но все не так просто. Для начала, много — это сколько? Три, десять, миллион, миллиард? А чего — мегабайтов, гигабайтов, терабайтов? Насчет этого нет единого мнения. Кто-то думает, что это когда данные нельзя посчитать на одном компьютере, кто-то — когда ежедневный поток информации превышает 100 Гб в день. Принято считать, что большие данные — это не только сами данные, но еще и инструменты, подходы и методы обработки информации.

Допустим, есть задание от Гринпис: каждый день считать белобрюхих, ушастых и африканских карликовых ежей, живущих на территории заповедника. Это нужно, чтобы сравнить их количество между собой и посмотреть, не уменьшается ли популяция одного из видов ежей.

Каждый день вы собираете всех ежиков и распределяете по трем комнатам.

Если в заповеднике 100 ежиков, задача кажется легкой. С 1000 ежей становится сложнее (не забывайте, они могут выбегать). А если у вас самый большой в мире ежиный заповедник, то вручную животных уже не посчитать — в этот момент они станут большими данными. Вам придется обзавестись инструментом обработки больших данных — умным автоматическим сортировщиком ежей. Он не только распределит и посчитает животных, но и найдет новые зависимости, например, сезонные колебания в ежиной популяции.

Блокчейн
От англ. Blockchain

Блокчейн — это не только про криптовалюту! Это технология хранения информации в цепочке блоков. Каждый из блоков содержит данные о всей предыдущей цепочке: известно, что именно хранится в предыдущих блоках, кто и когда создал информацию, переместил ее или изменил. Все сведения дублируются на разных компьютерах, возможно, в разных странах. Благодаря этому подделать их просто невозможно.

Представьте, что у вас есть лучший друг — еж Соник. Прибегает сосед, грозится вызвать полицию и кричит, что у него есть видео, где Соник два дня назад крадет огромный алмаз, закопанный в саду. Но такого не может быть: весь вечер вы с ежом смотрели сериалы и ели пиццу.

Предположим, все записи с камер наблюдения района хранятся с помощью технологии блокчейн: запись одного дня с одной камеры — один блок, в новом блоке содержится видеозапись нового дня и код-идентификатор предыдущего блока. Полицейский получает доступ ко всем камерам, на которых виден сад соседа. Затем он ищет код с нужной камеры, смотрит на идентификатор видео, где Соник крадет алмаз и понимает, что видео сфабриковано. Теперь можно дальше счастливо есть пиццу, а сосед будет отрабатывать наказание за клевету!

Машинное обучение
Оно же МО, Machine Learning, ML

Это алгоритмы, обучающиеся самостоятельно или с помощью учителя. Выглядит это примерно так:

  1. Собираются данные.
  2. Делятся примерно в отношении 80/20 для обучения и проверки.
  3. Выбирается модель, подходящая для нашей задачи.
  4. Модель обучается.
  5. Результаты оцениваются и отправляются на доработку при недостаточной точности.

С помощью методов машинного обучения можно научить компьютеры распознавать ежиков или рисовать их. Ниже расскажем про два разных подхода с конкретными примерами.

1. Градиентный бустинг

От англ. Gradient Boosting

Это способ последовательного построения алгоритмов. Каждый новый алгоритм создается, чтобы исправить недостатки предыдущего.

Например, мы придумываем алгоритм, определяющий породу ежей. Для начала смотрим их размеры: большой еж, средний или маленький. Это наше первое простое дерево решений. Затем еще несколько:

  • по длине иголок;
  • по основному цвету;
  • по форме ушек.

Далее соединяем все признаки в одно дерево и получаем заготовку, словно мы делаем тест «Какой вы ежик». Все породы такой тест не покроет, поэтому придется построить еще одно дерево с учетом получившейся ошибки. Каждое новое дерево будет уменьшать ошибку и точнее определять породу ежей.

2. Нейронные сети

От англ. Artificial neural network

Это аналог нейронных сетей человеческого мозга. Много маленьких нейронов решают свои простейшие операции. Они взаимосвязаны и вместе выполняют сложные функции.

Предположим, мы много раз сфотографировали и нарисовали ежей, показали компьютеру и сказали: «Смотри, все это ежики». Он проанализировал картинки, наложил их друг на друга и выделил признаки ежа. В результате получилось представление — его называют слоем свертки. Человек, который посмотрит на него, скорее всего, не поймет, почему алгоритм так видит ежиков. Он увидит только набор пикселей. Такой сверточной нейронной сети теперь можно показать видео из заповедника, а она посчитает, сколько ежей там живет.

Модель машинного обучения
Она же ML model

Это конкретный обученный алгоритм. Модель со своим набором признаков (фич) решает только тот тип задач, для которого была построена. Как ежик, которого научили ловить определенный вид гусениц.

Фича
От англ. feature — особенность, характеристика, свойство

Это сленговое обозначение признаков, применяющихся в моделях. Помните, мы в градиентном бустинге строили деревья для определения породы ежа? Так вот, форма ушек — это фича. Как и длина иголок.

Если вы хотите подробнее узнать, как устроено машинное обучение, где мы сталкиваемся с ним в жизни и как оно используется в маркетинге, переходите на статью «Вторжение машинного обучения: от заказа такси до персонализации контента».

«Количество устройств для обычных пользователей неуклонно растет уже несколько лет, но индустриальный IoT до сих пор отставал в развитии. Его рост сдерживался отсутствием подходящих технологий и низким доверием к интернету вещей в целом.

Тренды интернета вещей: ИИ отвечает на звонки, облака и 5G приручают big data, ЖКХ — лидер инновацийBlockchain и Big Data: состязание на небесах

«Нам по силам найти баланс между внедрением новых решений, за которыми будущее, и защитой интересов людей, как того требует национальная стратегия развития искусственного интеллекта. Этот баланс обеспечит интересы и людей, и бизнеса, и государства», — уверена Матвеева.

BIG DATA 2021: Искусственный интеллект требует от государства экспериментов

Мария Поликанова Важно предложить гражданам сервис, который сейчас они не могут себе позволить, хороший консалтинг по составлению финансового плана и прогнозу развития бизнеса.

(читать далее...)
Москва планирует запустить собственные эксперименты в рамках ЭПР. Это крупнейший и наиболее развитый рынок в стране, он является ориентиром для многих.

Как признала Оксана Тарасенко, заместитель министра экономического развития РФ, для Минэкономразвития принятие экспериментальных правовых режимов (так называемых песочниц) стало действительно большим достижением.

По словам Поликановой, в этом проекте участвуют восемь крупных конкурирующих компаний, которые смогли договориться и создать принципиально новый сервис. Он будет реализован в режиме времени, близком к реальному, и должен быть настолько простым, чтобы им могла воспользоваться даже домохозяйка.
В 2018 году Москва вошла в топ-10 городов мира, готовых к внедрению искусственного интеллекта. С точки зрения технологий уже тогда все было отлично, однако город занимал лишь 20-ю позицию по готовности нормативно-правовой базы. Принимаемые сейчас законы устраняют эту дисгармонию.

Это крупнейший и наиболее развитый рынок в стране, он является ориентиром для многих.

«Это ключевой фактор для развития любых инноваций, в том числе технологий искусственного интеллекта. Нами за последний год проведена большая работа по подготовке необходимой правовой базы, а также отбору проектов, которые будут запущены в рамках первых ЭПР», — заявила Тарасенко.

Глава Правительства России Михаил Мишустин утвердил перечень технологий для экспериментальных правовых режимов в сфере цифровых инноваций. Постановление с номером №1750 подписано 28 октября 2020 г. и опубликовано на сайте Правительства.

ИИ, блокчейн, большие данные и еще семь технологий прорвались в «регуляторные песочницы»

Глава Правительства России Михаил Мишустин утвердил перечень технологий для экспериментальных правовых режимов в сфере цифровых инноваций.

Какие технологии вошли в перечень (читать далее...)
Данное АНО создавалось для поддержки общественно значимых проектов в области информационных технологий. Среди учредителей организации — Сбербанк, «Яндекс», Mail.ru, Rambler, «Роснано».

Что представляет собой закон об экспериментальных правовых режимах

Напомним, в январе 2019 г. CNews писал, что Минэкономразвития подготовило законопроект о введении экспериментального правового режима для инновационных ИТ-проектов.

«Песочницы» позволяют отказаться от некоторых нормативных требований, мешающих развитию инноваций. За счет особых условий «песочниц» компании, которые разрабатывают новые продукты и услуги, а также представители органов власти могут тестировать технологии без риска нарушить действующее законодательство, а впоследствии, если тестирование прошло успешно, — выходить с ними на рынок.
Представлять интересы бизнеса в вопросах экспериментальных правовых режимов в сфере цифровых инноваций, за исключением направления разработки, апробации и внедрения цифровых инноваций, будет АНО «Цифровая экономика». На эту тему Мишустин подписал второй документ — распоряжение.

Среди учредителей организации Сбербанк, Яндекс, Mail.

В перечень вошли десять технологий. В их числе нейротехнологии, технологии искусственного интеллекта, робототехники и сенсорики, квантовые и производственные технологии, а также технологии работы с большими данными. Кроме того, в список попали технологии систем распределенного реестра (блокчейн), беспроводной связи, виртуальной и дополненной реальности, отраслевые цифровые технологии.

Эта основополагающая технология хранения и обработки больших данных является проектом верхнего уровня Apache Software Foundation.

Big Data и лучшие инструменты аналитики в 2021 году

Скорость (читать далее...)
Большие данные имеют важное значение для глобального бизнеса, поскольку большее количество данных приводит к более точному анализу, который, в свою очередь, обеспечивает более эффективное принятие решений, повышение операционной эффективности и сокращению затрат.

ведущий аналитик данных в «Сбере»

Программное обеспечение Big Data Analytics широко применяется для эффективной обработки данных и достижения конкурентного преимущества на рынке. Эти программные аналитические инструменты помогают отслеживать текущие рыночные изменения, потребности клиентов и другую различную ценную информацию. Давайте рассмотрим самые популярные инструменты аналитики 2021 году. Объем

Вероника Голубева
Мы без остановки производим гигантское количество данных через социальные сети, общественный транспорт и интернет покупки. Их объемы завораживают дух. Ежедневно мы загружаем 95 миллионов изображений и видео, 340 миллионов твитов и 1 миллиард документов. Всего мы производим 2, 5 квинтиллиона байт в день, кто-то из вас помнит сколько это нулей? Вот поэтому их и называют Big Data.
Давно прошли те времена, когда данные собирались из одного места и возвращались в едином формате. Сегодня данные бывают всех форм и размеров, включая видео, текст, звук, графику и даже выкалывание на бумаге. Таким образом, большие данные предоставляют возможности для использования новых и существующих данных и разработки новых способов сбора данных в будущем.

Разнообразие

Вот поэтому их и называют Big Data.

Apache Hadoop

  1. HDFS — это распределенная файловая система, предназначенная для работы на стандартном оборудовании.
  2. MapReduce — модель распределенных вычислений, представленная компанией Google, используемая для параллельных вычислений.
  3. YARN— технология, предназначенная для управления кластерами.
  4. Библиотеки — для работы остальных модулей с HDFS

§ Эта основополагающая технология хранения и обработки больших данных является проектом верхнего уровня Apache Software Foundation.
Большие данные имеют важное значение для глобального бизнеса, поскольку большее количество данных приводит к более точному анализу, который, в свою очередь, обеспечивает более эффективное принятие решений, повышение операционной эффективности и сокращению затрат.

Related posts