Искусственный интеллект, способный преобразовать целые отрасли, уже давно признан лидером технического прогресса.
Сегодня область искусственного интеллекта быстро адаптируется и развивается, чтобы соответствовать расширяющимся масштабам и возрастающей сложности данных, генерируемых во всех отраслях и областях исследований. В результате существует серьезная потребность в инженерах, разработчиках и специалистах по данным, обладающих навыками и амбициями для развития области искусственного интеллекта.
Добавление машинного обучения к вашему набору навыков — один из способов начать работу в этой области уже сегодня.
Машинное обучение — это особое подмножество искусственного интеллекта, которое привлекло внимание как мощный инструмент, способный оказать существенное влияние на решение громких проблем, не имеющих четкого решения.
Одной из причин, почему машинное обучение так ценно, является его способность обрабатывать большие данные. Машинное обучение может помочь выявить скрытые закономерности в огромном количестве данных, которые ошеломили бы обычного человека. Модели машинного обучения позволяют нам проникнуть в хаос и извлечь ценную информацию, которая может помочь нам в принятии решений и прогнозировании тенденций в наших данных.
Если вы хотите узнать больше о том, как машинное обучение в настоящее время используется для решения проблем, и подумываете о карьере в области искусственного интеллекта, то вы попали по адресу! Сегодня мы поговорим о некоторых ключевых различиях между двумя подходами в науке о данных: контролируемым и неконтролируемым машинным обучением. После этого мы рассмотрим некоторые дополнительные ресурсы, которые помогут вам начать работу по машинному обучению.
Что такое машинное обучение?
Машинное обучение — это часть искусственного интеллекта (ИИ), которая изучает алгоритмы и статистические модели, используемые компьютерными системами для выполнения задач без программирования для этого.
Основное преимущество машинного обучения заключается в его способности позволять компьютерам оптимизировать свою производительность, не требуя явных инструкций. Вместо этого программисты могут полагаться на машинное обучение, чтобы учиться на текущем контексте и обобщать невидимые задачи [1], которые корректируют свои программы без прямого вмешательства.
Как упоминалось ранее, огромный объем генерируемых сегодня наборов данных привел к пропорциональному спросу во многих отраслях на машинное обучение для извлечения релевантных данных [2], способных принимать разумные бизнес-решения. В корпоративном масштабе машинное обучение хорошо подходит для значительного повышения эффективности цепочек поставок, энергопотребления и других областей с финансовыми последствиями.
Контролируемое и неконтролируемое обучение
Обучение под наблюдением похоже на то, как ученик учится у своего учителя. Преподаватель выступает в роли наблюдателя или авторитетного источника информации, на который учащийся может положиться при обучении. Вы также можете думать о разуме ученика как о вычислительной машине.
Скажем, эти студенты собираются на экскурсию в местный зоопарк, чтобы узнать о животных. Учитель показывает учащимся каждое животное, а затем дает ученику название животного или ярлык.
Если учащийся делает ошибку при попытке идентифицировать определенных животных, учитель исправляет их ошибку, называя правильное название. По мере того, как учитель продолжает обучать ученика, ученик начинает развивать в своем уме образец или модель.
Вычислительные механизмы учатся распознавать закономерности и строить модели на основе обучающих данных, предоставленных руководителем. Когда этому вычислительному механизму предоставляется неизвестный или немаркированный элемент, они могут предсказать метку для него на основе того, что они узнали из обучающих данных.
По сути, супервизор показывает вычислительной машине животное, $\bold{x_i}$а затем сообщает вычислительной машине, какую метку использовать $y_i$для этого животного. Показ вычислительному движку дополнительных примеров $(\bold{x_i},y_i)$ обучает вычислительный движок разработке модели.
Супервайзер показывает вычислительной машине неизвестное животное $\bold{x_t}$и спрашивает его метку $y_t$.
Вычислительный механизм предсказывает метку на основе того, что он узнал из обучающих данных.
Неконтролируемое обучение не имеет наставника и правильных ответов. При неконтролируемом обучении информация не сортируется, а вместо этого группируется по сходствам и различиям. Другими словами, неконтролируемое обучение было бы похоже на предоставление учащимся возможности исследовать зоопарк самостоятельно, чтобы придумать свои собственные идеи о том, почему зоопарк организован так, как он основан исключительно на том, что они наблюдают.
Подводя итог, основное отличие состоит в том, что входные данные будут сопровождаться метками при обучении с учителем, но не будут иметь меток при обучении без учителя.
Другие заметные отличия
| Характерная черта | Контролируемое обучение | Неконтролируемое обучение |
| Точность | Более точные результаты | Менее точные результаты |
| Сложность | Менее сложный и более понятный | Более сложный. Требуется больше вычислительной мощности для обработки из-за неоднозначности данных |
| Ввод, вывод | Входные и выходные переменные заданы | Даются только входные переменные |
| Время | Обучение проходит оффлайн | Обучение проходит онлайн и в режиме реального времени |
Контролируемое обучение
В этом разделе мы проведем краткое сравнение между регрессией и классификацией, а затем перейдем к тому, как эти концепции связаны с четырьмя популярными алгоритмами машинного обучения с учителем:
- Linear regression
- Support Vector Machine (SVM)
- Logistic regression
- Random forest
Регрессия против классификации
Модели контролируемого обучения особенно хорошо подходят для решения проблем регрессии и проблем классификации.
Классификация
Одним из методов машинного обучения является классификация, и он относится к задаче получения входного значения и его использования для прогнозирования дискретных выходных значений, обычно состоящих из классов или категорий.
Регрессия
Регрессия относится к задаче прогнозирования непрерывных выходных значений, таких как температура, высота или тенденции фондового рынка.
Тренировочные данные
Наборы обучающих данных могут иметь различные форматы: от текста до изображений, видео и аудио. Эти наборы данных содержат помеченные данные, которые помогают обучить алгоритм машинного обучения идентифицировать определенные функции и закономерности в данных. В конце концов, обучение позволит вашей модели машинного обучения идентифицировать функции и закономерности в неразмеченных данных.
Обучение с учителем фокусируется на следующих наборах помеченных данных.
- Данные классификации : обучающие данные, в которых метки $y_i$представляют разные классы, а не какое-либо числовое значение.
- Данные регрессии : обучающие данные, в которых метки $y_i$имеют числовое значение, обычно действительное число.
Регрессия и классификация — это типы алгоритмов обучения с учителем, в которых обучающие данные содержат метки $y_i$.
Примечание. К другим типам наборов данных относятся тестовые данные, которые используются для оценки эффективности алгоритма машинного обучения при прогнозировании ответов, и проверочные данные, которые используются для оценки вашего подхода к обучению на основе заданных вами параметров алгоритма и модели.
Линейная регрессия
Линейная регрессия была впервые разработана в области статистики и используется в машинном обучении для создания прогностических моделей, которые предполагают линейную связь между входными переменными ( x) и выходной переменной ( y).
- Простая линейная регрессия : один вход дляx
- Множественная линейная регрессия : несколько входных переменных
Одним из основных преимуществ использования модели линейной регрессии является ее простота. При представлении модели с помощью линейного уравнения сделать прогноз может быть так же просто, как решить уравнение для заданных вами входных данных.
Метод опорных векторов (SVM)
SVM — это популярный алгоритм бинарной классификации, который обеспечивает линейную модель как для задач классификации, так и для задач регрессии. Некоторое время SVM был выбором по умолчанию, потому что он предоставлял простые модели, которые избегали переобучения. Однако одним из недостатков SVM является то, что его нельзя распространить на многоклассовые задачи так же легко, как другие алгоритмы.
Примечание. Также существуют нелинейные SVM! Некоторые наборы данных, которые не могут быть оптимально разделены линейной функцией, все же могут быть разделены квадратичной функцией.
Опорные векторы — это точки данных, расположенные ближе всего к поверхности решения (или гиперплоскости) [1]. Эти точки данных являются одними из самых сложных для классификации и имеют решающее значение для поиска оптимальной гиперплоскости. Удаление любой из этих точек данных в конечном итоге изменит положение гиперплоскости.
Цель SVM — максимизировать запас вокруг гиперплоскости, разделяющей эти точки данных.
Примечание. В двухмерном пространстве точки данных можно разделить линией. SVM особенно эффективен при применении к пространствам с более высокими измерениями, поскольку позволяет использовать гиперплоскость.
Логистическая регрессия
Несмотря на свое название, модель логистической регрессии на самом деле является линейной моделью для классификации. Это называется логистической регрессией, потому что она выполняет регрессию на логитах [2], что позволяет классифицировать данные на основе прогнозов вероятности модели.
Как и SVM, логистическая регрессия оценивает границу классификации, максимизируя отступ всех точек данных от границы. В отличие от SVM, логистическую регрессию можно относительно легко распространить на несколько классов.
Случайный лес
Случайный лес называется таковым, потому что это, по сути, группа деревьев решений!
С помощью алгоритма случайного леса обучающая модель учится предсказывать значения целевой переменной, изучая правила принятия решения. Эти решения можно представить в виде дерева, где каждая ветвь ведет к узлу решения. Каждый узел содержит атрибут и запрашивает принятие решения на основе доступных функций.
Случайные леса, возможно, являются одним из самых популярных алгоритмов, используемых в машинном обучении с учителем для задач регрессии и классификации. Простота этого алгоритма делает его доступным и легко интерпретируемым для широкого круга задач.
Нейронные сети
С более чем 80 миллиардами нейронов человеческий мозг является одной из самых сложных систем на Земле, и даже после десятилетий изучения глубина и широта его когнитивных процессов далеки от полного понимания.
Биологические нейронные сети, подобные человеческому мозгу, вдохновили на появление искусственных нейронных сетей (ИНС). Глубокое обучение (ГО) — это подмножество машинного обучения, основанное на технологии ИНС и пытающееся расширить функциональные возможности компьютеров, позволяя им учиться так же, как люди.
Нейронные сети — одна из самых фундаментальных и амбициозных концепций, связанных с машинным обучением. Хотя традиционные компьютеры прекрасно выполняют множество быстрых вычислений, они, как правило, с трудом решают задачи, с которыми биологический мозг может легко справиться, например, распознавание изображений. Искусственные нейронные сети стремятся имитировать когнитивные процессы таким образом, чтобы их можно было использовать для выполнения интересных и более сложных задач.
Один хороший пример того, как искусственная нейронная сеть используется в машинном обучении, можно найти в AlphaGo от DeepMind, которая использовала обучение с подкреплением, чтобы учиться на миллионах игр в го, сыгранных против себя.
Приложения контролируемого обучения
Машинное обучение успешно применяется в самых разных областях и отраслях, начиная от распознавания образов, компьютерного зрения, проектирования космических кораблей, финансов, развлечений, вычислительной биологии и медицины. Ниже приведены несколько интересных примеров использования алгоритмов обучения с учителем.
Классификация изображений
Компьютерное зрение — это область искусственного интеллекта, касающаяся способности машин получать высокоуровневое понимание изображений и видео. В основе компьютерного зрения лежит задача распознавания изображений. Классификация изображений используется для обучения нейронных сетей путем получения необработанных изображений и их обработки в данные, которые можно использовать для машинного обучения.
Модели распознавания изображений необходимы для многих машинных визуальных задач, таких как распознавание лиц, управление автономными роботами или помощь беспилотным автомобилям в предотвращении аварий.
Обнаружение объекта
Хотя классификация изображений важна для категоризации изображений с помощью меток, обнаружение объектов не менее важно, чтобы сообщить нам, где находятся объекты на изображении. Это делается с помощью ограничительных рамок, которые используют координаты (x, y), чтобы сообщить нам местоположение каждого объекта на изображении.
Обнаружение аномалий
Обнаружение аномалий в машинном обучении относится к задаче выявления выбросов, аномальных точек данных и других неожиданных наблюдений в наборе данных. Обнаружение аномалий под наблюдением требует обучения классификатора с использованием двух помеченных наборов данных, один из которых помечен как нормальный, а другой помечен как ненормальный.
Неконтролируемое обучение
Модели неконтролируемого обучения используют наборы данных без помеченных результатов для прогнозирования результатов невидимых данных.
Существует два основных типа алгоритмов обучения без учителя:
Алгоритмы кластеризации : данные обрабатываются в кластеры точек данных, которые имеют характеристики, аналогичные другим точкам данных в том же кластере.
Алгоритмы ассоциации : обнаруживаются интересные отношения между переменными в больших базах данных, которые используются для определения основных правил ассоциации для того, как и почему связаны определенные точки данных.
Кластеризация K-средних
Кластеризация K-средних — это итеративный процесс, который сначала ищет фиксированное количество кластеров (K) в наборе данных. Первоначально эти кластеры выбираются случайным образом, но позже они будут пересчитаны до тех пор, пока инерция или сумма квадратов внутри кластера не будет полностью минимизирована.
Инерция кластера K-средних уменьшается путем вычисления центра кластера «K th », представленного «μ k », а также называемого центроидом кластера, средней точкой или иногда центром кластера. Центроиды кластера — это просто среднее значение всех точек внутри этого кластера.
Каждый экземпляр точки данных добавляется к ближайшему центроиду путем вычисления показателей сходства или расстояния. Затем центроиды пересчитываются с новой средней точкой кластера. Точки данных снова добавляются к центроиду ближайшего кластера, и среднее значение снова вычисляется до тех пор, пока оно не перестанет изменяться.
Анализ главных компонентов (PCA)
Анализ главных компонентов — очень популярный метод для выполнения исследовательского анализа данных, сжатия информации, сжатия данных, обработки изображений и многого другого. Однако в основном он используется для уменьшения размерности. Размерность относится к количеству переменных и атрибутов, которыми обладают ваши данные.
Наличие большого количества входных переменных может серьезно ограничить функцию и производительность используемого алгоритма. Эта проблема известна как проклятие размерности [4].
Еще одна веская причина для уменьшения входных переменных и размерности — получение статистически достоверного и надежного результата. Когда размерность увеличивается, количество данных, необходимых для поддержки вашего результата, растет экспоненциально.
Методы уменьшения размерности, такие как PCA, работают для точек данных, наблюдаемых в многомерных пространствах, поскольку они уменьшают количество переменных в наборе данных, сохраняя при этом информацию, необходимую для анализа и исследования ваших данных.
Учитывая набор данных, PCA работает путем нормализации размера данных. Каждый элемент измерения вычитается из среднего значения соответствующего измерения.
Приложения неконтролируемого обучения
Сегментация изображения
Сегментация изображений — это расширение классификации изображений, которое включает в себя разбивку изображений для уменьшения их визуальной сложности. Упрощение изображения может ускорить и повысить эффективность обработки и анализа изображения.
Неконтролируемые алгоритмы машинного обучения, такие как кластеризация K-средних, могут использоваться для сегментации изображения на основе сходства атрибутов пикселей, таких как цвет.
Снижение размерности
Напомним, что с многомерными пространствами может быть сложно работать из-за чрезмерного количества задействованных переменных. Избыточные функции и переменные могут привести к переоснащению — явлению в статистике, когда статистическая модель соответствует своим обучающим данным, влияя на точность используемого алгоритма вплоть до устаревания. Уменьшение размерности полезно для повышения производительности алгоритмов и сохранения статистической значимости результатов, поскольку оно избавляет от избыточных данных, не удаляя релевантную информацию, которая нужна прогностическим моделям.
Анализ главных компонентов (PCA) уменьшает размерность, извлекая только те переменные, которые вам нужны, в более управляемые группы.
