chto takoe mashinnoe obuchenie? polnoe rukovodstvo ot A do YA

Что такое машинное обучение?

Давайте разберём вопрос «Что такое машинное обучение?» подробнее.

Машинное обучение — это подраздел искусственного интеллекта (AI), который позволяет системе обучаться и принимать решения на основе опыта, без необходимости прямого программирования.

Существуют специальные алгоритмы, которые делают компьютер достаточно «умным», чтобы он мог принимать решения на основе данных без участия человека.

Что такое алгоритм?
Алгоритм — это набор правил или процессов, которым компьютер следует для решения задач. В машинном обучении алгоритмы определяют шаблоны в больших данных и используют эти шаблоны для принятия решений и прогнозов.

Примеры машинного обучения в нашей жизни:

• Если вы что-то купили, искали или обсуждали на телефоне, сайты будут рекомендовать продукты, фильмы и песни, основываясь на вашем поведении.
• Некоторые роботы сами убирают пол, не требуя вашего участия.
• Почтовые сервисы автоматически отправляют нежелательные письма в спам.
• Врачи могут выявлять опухоли с помощью систем анализа медицинских изображений.
• И конечно, самоуправляемые автомобили — яркий пример машинного обучения.

Машинное обучение продолжает развиваться:

• Объёмы больших данных растут;
• Появляются более мощные и доступные компьютеры;
• Всё больше специалистов по данным создают новые, более совершенные алгоритмы.

Все эти инновации делают нашу повседневную жизнь более эффективной и автоматизированной.

Машинное обучение (ML) или Искусственный интеллект (AI)?

Давайте разберёмся в разнице между машинным обучением и искусственным интеллектом, а также ответим на вопрос «Что такое язык машинного обучения?».

Многие путают Искусственный интеллект и Машинное обучение. На самом деле, это разные вещи:

• Искусственный интеллект (AI) — это способность машины выполнять задачи, которые обычно делают люди.
• Машинное обучение (ML) — это подраздел AI, который позволяет машине обучаться на данных, используя алгоритмы.

Как работает AI и ML

В основе любой системы на AI лежит модель. Модель — это программа, которая улучшает свои знания через процесс обучения, используя алгоритмы.

• Когда машине предоставляют данные-примеры для обучения и последующего принятия решений на новых данных, такую модель называют supervised learning (обучение с учителем).
• Противоположный подход называется unsupervised learning (обучение без учителя), и мы разберём его позже.

Пример применения машинного обучения

Одним из популярных глобальных применений ML является распознавание изображений.

1. Приложения, которые распознают изображения, сначала тренируются.
2. Учёные по данным пропускают через систему тысячи фотографий и объясняют компьютеру, что изображено на каждой из них.
3. После множества повторений приложение начинает определять закономерности пикселей, распознавая лошадь, собаку, кошку, цветок, дерево и т.д.

ML в интернет-компаниях

Многие онлайн-сервисы используют машинное обучение для рекомендательных систем:

• Facebook решает, что показывать в вашей ленте новостей;
• Netflix предлагает фильмы, которые вам могут понравиться;
• Amazon выделяет продукты, которые вы, вероятно, захотите купить.

Все эти системы работают на основе предсказаний по шаблонам в существующих данных.

Я надеюсь, что вы уже получаете понимание того, как работает машинное обучение.

Давайте теперь разберёмся, как начать учиться машинному обучению.

Как работает машинное обучение

Всё, что учит вас машинному обучению, начинается с обучения модели машинного обучения, фактически «объясняя» компьютеру функцию на его языке.

Процесс тренировки требует, чтобы специалист разработал математическую функцию, которая повторно корректирует свои операции, пока не сможет точно предсказывать результаты на новых данных.

Машинное обучение использует процессы, похожие на data mining (обработку данных). Алгоритмы пишутся на языках программирования, но математическое представление помогает лучше понять принцип работы.

Алгоритм в виде функции

Обозначим целевую функцию как $f$, которая отображает входную переменную $x$ в выходную переменную $y$:

$$y=f(x)$$

При этом всегда существует погрешность $e$, независимая часть входной переменной $x$:

$$y=f(x)+e$$

Четыре основных шага построения модели машинного обучения

Чтобы создать модель, дата-сайентист обычно работает в тесном сотрудничестве с владельцами бизнеса, для которого будет служить система.

Шаг 1: Выбор и подготовка обучающего набора данных

Что такое обучающий набор данных? Это данные, которые модель будет использовать для решения поставленной задачи.

1. Данные могут быть с метками (labeled) или без меток (unlabeled).
2. Данные необходимо очистить, рандомизировать и проверить на дисбалансы или смещения, которые могут повлиять на обучение.
3. Набор данных делится на два поднабора:

                        Training subset – для обучения модели

                        Evaluation subset – для тестирования и доработки модели

Шаг 2: Выбор алгоритма для обучения на наборе данных

Алгоритм – это процесс или набор правил, которым компьютер следует при решении задач.

Тип алгоритма зависит от задачи:

Для данных с метками (labeled data):

• Регрессионные алгоритмы (Regression algorithms)
• Деревья решений (Decision trees)
• Алгоритмы на основе экземпляров (Instance-based algorithms)

Для данных без меток (unlabeled data):

• Алгоритмы кластеризации (Clustering algorithms)
• Ассоциативные алгоритмы (Association algorithms)
• Нейронные сети (Neural networks)

Шаг 3: Обучение алгоритма для создания модели

Теперь переходим к главному этапу – обучению алгоритма. Это итеративный процесс:

1. Пропускаем переменные через алгоритм.
2. Сравниваем полученный результат с ожидаемым.
3. Корректируем веса и смещения (weights and biases) алгоритма, чтобы повысить точность.
4. Повторяем процесс до тех пор, пока алгоритм не будет давать правильный результат в большинстве случаев.

Результатом этого процесса становится точная модель машинного обучения – то, что мы используем для прогнозов и предсказаний.

Шаг 4: Использование и улучшение модели

На этом этапе модель применяется на новых данных. С течением времени её точность и эффективность повышаются за счёт дообучения и корректировок.

Методы машинного обучения

Существует три основных метода машинного обучения, которые помогают понять, как работает обучение машины:

Контролируемое обучение (Supervised machine learning)

• Компьютер получает входные и выходные данные вместе с обратной связью во время обучения.

• Цель – научить систему сопоставлять вход с выходом.

• Машина учится на примерах, предоставленных человеком.

Пример: модель ML для распознавания домашних и охранных животных обучается на наборе данных с помеченными изображениями разных животных.

Неподконтрольное обучение (Unsupervised machine learning)

Метод неподконтрольного обучения заключается в том, что вы не даёте компьютеру разметку данных, а позволяете ему самому находить закономерности и результаты.

• Применяется в основном к транзакционным данным и более сложным задачам.

• Использует стратегии вроде глубокого обучения (deep learning) для выявления закономерностей.

• Компьютер применяет алгоритмы для выделения значимых признаков, необходимых для сортировки, классификации или разметки данных без участия человека.

Главная цель – выявление паттернов и связей в данных, которые могли бы остаться незамеченными человеком.
Пример: системы обнаружения спама в электронной почте.

Полу-контролируемое обучение (Semi-supervised learning)

Недостаток контролируемого обучения в том, что специалисту или дата-сайентисту нужно ручное разметка данных, что дорого и трудоёмко при больших объёмах.

Недостаток неподконтрольного обучения – ограниченный спектр применения.

Чтобы решить эти проблемы, был введён метод полу-контролируемого обучения:

• Алгоритм обучается на комбинации размеченных и неразмеченных данных.

• Сначала данные кластеризуются с помощью неподконтрольного метода, а затем размеченные данные используются для маркировки оставшихся.

Иллюстрация: полу-контролируемое обучение похоже на обучение компьютера нескольким основным концепциям, а затем предоставление ему «домашнего задания» на основе схожих концепций.

• Этот метод находится между контролируемым и неподконтрольным обучением.

• Во время обучения используется небольшой размеченный набор данных для ориентира и извлечения признаков из более широкого массива данных.

Обучение с подкреплением (Reinforcement machine learning)

Метод обучения с подкреплением использует три ключевых компонента: агент, среда, действия.

• Агент воспринимает окружающую среду компьютера.
• Действия агента взаимодействуют с этой средой.
• Похоже на контролируемое обучение, но модель учится через пробу и ошибку, постепенно улучшая свои результаты.

Глубокое обучение (Deep learning)

Глубокое обучение является частью машинного обучения и строится на искусственных нейронных сетях, которые учатся новым опытам, подобно человеческому мозгу.

• Алгоритмы глубокого обучения применяют многоуровневую обработку данных.

• Каждый слой использует выход предыдущего слоя как вход для следующего.

• Нейронные сети работают медленно на начальных этапах, но по мере поступления данных точность и эффективность системы растут.

Нейронная сеть (Neural Network)

• Искусственная нейронная сеть (ANN) состоит из взаимосвязанных искусственных нейронов, которые обмениваются данными.

• Нейроны обновляются, получая новую информацию и опыт, улучшая свои способности.

Сверточная нейронная сеть (CNN, Convolutional Neural Network)

• Применяет несколько независимых фильтров к многоканальному изображению для выделения контрастных и уникальных особенностей.

• Часто используется в DIP-приложениях (Digital Image Processing).

Рекуррентная нейронная сеть (RNN, Recurrent Neural Network)

• Обрабатывает паттерны данных, где предыдущие результаты помогают прогнозировать новые результаты.

• Применяется, например, в автоматических рекомендациях на Netflix, Amazon, Spotify и других платформах.

Реальные применения машинного обучения (Real-world Uses of Machine Learning)

Как мы уже говорили, машинное обучение присутствует повсюду, и как только вы поймёте, как его изучать, вы заметите его применение в повседневной жизни.

Вот несколько примеров использования машинного обучения, которые вы встречаете каждый день:

• Цифровые помощники: Amazon Alexa, Google Assistant, Apple Siri и другие. Эти помощники работают на базе обработки естественного языка (NLP), что позволяет компьютерам понимать текст и голос так же, как люди.
• Рекомендации: Модели глубокого обучения создают подсказки вроде «похожее вам понравится» и «специально для вас» на платформах Facebook, Netflix, Spotify, Amazon и других.
• Онлайн-реклама: Рекламодатели используют ML и модели глубокого обучения для анализа контента веб-страниц, чтобы понять настроение автора и показывать объявления, соответствующие интересам посетителя.
• Чат-боты: Чат-боты и автоответчики используют распознавание шаблонов, NLP и глубокие нейронные сети для понимания текста и генерации естественных ответов.
• Обнаружение мошенничества: Машинное обучение помогает выявлять кражу кредитных карт и незаконное использование финансовых данных.
• Автономные автомобили: ML позволяет автомобилям идентифицировать объекты вокруг, прогнозировать их движение и безопасно маневрировать к месту назначения.

Как изучать машинное обучение (How to Learn Machine Learning)

Вы можете изучать машинное обучение через онлайн-курсы:

• Stanford University – бесплатные курсы.
• Coursera, Udemy, EdX – множество интерактивных курсов.
• Columbia University – вводный курс по машинному обучению.

AI (искусственный интеллект) – это наука о создании машин с возможностями рассуждения и решения задач, позволяющая машинам обучаться и принимать решения на основе предыдущих данных без длительного программирования. AI объединяет машинное обучение, глубокое обучение и другие технологии.

Появляются всё новые технологии, позволяющие изучать машинное обучение практическим способом:

• AWS DeepLens – камера с поддержкой глубокого обучения.
• AIY Kits от Google – наборы для изучения AI на Raspberry Pi.

Пройдя через эти материалы, вы получите полное понимание на вопрос «Что такое машинное обучение?» и увидите, как применять его на практике.