– Линейная регрессия

– Регрессия на основе деревьев (например, случайный лес)

– Градиентный бустинг

Рассмотрим их подробнее.

Линейная регрессия

Линейная регрессия – это классический метод в машинном обучении, который применяется для анализа и предсказания взаимосвязи между одной или несколькими независимыми переменными и зависимой переменной. Одним из ключевых предположений линейной регрессии является линейная зависимость между признаками и целевой переменной. Цель состоит в том, чтобы найти оптимальные параметры модели (коэффициенты), которые минимизируют сумму квадратов разностей между фактическими значениями зависимой переменной и предсказанными значениями, полученными с использованием линейной функции.

Преимущества линейной регрессии заключаются в ее простоте и интерпретируемости. Этот метод хорошо подходит для понимания влияния каждого признака на целевую переменную и выявления силы и направления этих взаимосвязей. Однако линейная регрессия также имеет свои ограничения, например, она предполагает линейность и постоянство отношений между переменными, что может быть неприменимо в случае сложных нелинейных зависимостей.

Выбор функции потерь и метода оптимизации в линейной регрессии играет важную роль в успешном построении модели. Функция потерь определяет, как будут оцениваться различия между фактическими и предсказанными значениями. Одной из наиболее распространенных функций потерь является среднеквадратичная ошибка (Mean Squared Error, MSE), которая минимизирует сумму квадратов разностей между фактическими и предсказанными значениями. Другие функции потерь также могут использоваться в зависимости от конкретной задачи, например, абсолютное отклонение (Mean Absolute Error, MAE) или квантильная регрессия.

Метод наименьших квадратов (OLS) – это классический метод оптимизации, применяемый в линейной регрессии. Он ищет оптимальные значения параметров модели, минимизируя сумму квадратов разностей между фактическими и предсказанными значениями целевой переменной. Однако OLS имеет аналитическое решение только для простых линейных моделей. При использовании сложных моделей или больших объемов данных метод наименьших квадратов может столкнуться с проблемами вычислительной сложности или переобучения.

Метод градиентного спуска – это итерационный метод оптимизации, который эффективно применяется в случае сложных моделей и больших объемов данных. Он основан на идее минимизации функции потерь, используя градиент функции потерь по отношению к параметрам модели. Градиентный спуск обновляет параметры модели на каждой итерации, двигаясь в направлении, противоположном градиенту функции потерь, с тем чтобы достичь минимума. Этот процесс повторяется до тех пор, пока не будет достигнуто удовлетворительное значение функции потерь или пока не будут выполнены другие критерии останова.

Выбор между методом наименьших квадратов и методом градиентного спуска зависит от конкретной задачи, сложности модели и объема данных. Для простых моделей и небольших наборов данных метод наименьших квадратов может быть предпочтительным из-за своей простоты и аналитического решения. Однако для сложных моделей и больших объемов данных градиентный спуск представляет собой более эффективный подход, позволяющий обучить модель даже при наличии ограниченных ресурсов.

Применение линейной регрессии распространено во многих областях из-за ее простоты и хорошей интерпретируемости результатов. В экономике и финансах она используется для анализа факторов, влияющих на финансовые показатели. В медицине она помогает предсказывать заболевания или оценивать воздействие лечения. В исследованиях социальных наук она используется для анализа влияния различных факторов на социальные явления.

Пример 1

Рассмотрим пример задачи прогнозирования цен на недвижимость с использованием линейной регрессии и метода градиентного спуска.

Описание задачи:

Представим, что у нас есть набор данных, содержащий информацию о различных характеристиках недвижимости (площадь, количество комнат, удаленность от центра и т. д.), а также цена, по которой эта недвижимость была продана. Наша задача – научиться предсказывать цену новых объектов недвижимости на основе их характеристик.

Ход решения:

1. Подготовка данных: Загрузим и предобработаем данные, разделим их на обучающий и тестовый наборы.

2. Выбор модели: Используем линейную регрессию в качестве базовой модели для прогнозирования цен на недвижимость.

3. Обучение модели: Применим метод градиентного спуска для обучения модели линейной регрессии. Мы будем минимизировать среднеквадратичную ошибку (MSE) между фактическими и предсказанными значениями цен.

4. Оценка модели: Оценим качество модели на тестовом наборе данных с помощью различных метрик, таких как средняя абсолютная ошибка (MAE), средняя квадратичная ошибка (MSE) и коэффициент детерминации (R^2).

Пример кода:

```python

# Шаг 1: Подготовка данных

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

# Загрузка данных

data = pd.read_csv('real_estate_data.csv')

# Предобработка данных

X = data.drop(columns=['price'])

y = data['price']

# Разделение на обучающий и тестовый наборы

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Масштабирование признаков

scaler = StandardScaler()

X_train_scaled = scaler.fit_transform(X_train)

X_test_scaled = scaler.transform(X_test)

# Шаг 2 и 3: Выбор и обучение модели

from sklearn.linear_model import LinearRegression

from sklearn.metrics import mean_squared_error

from sklearn.metrics import mean_absolute_error

# Создание и обучение модели линейной регрессии

model = LinearRegression()

model.fit(X_train_scaled, y_train)

# Оценка качества модели на тестовом наборе данных

y_pred = model.predict(X_test_scaled)

mse = mean_squared_error(y_test, y_pred)

mae = mean_absolute_error(y_test, y_pred)

r2 = model.score(X_test_scaled, y_test)

print("Mean Squared Error:", mse)

print("Mean Absolute Error:", mae)

print("R^2 Score:", r2)

```

Это простой пример решения задачи прогнозирования цен на недвижимость с использованием линейной регрессии и метода градиентного спуска. После выполнения этого кода вы получите оценки качества модели, которые помогут вам понять, насколько хорошо модель работает на новых данных.

Пример 2

Давайте рассмотрим пример прогнозирования цен на недвижимость с использованием метода наименьших квадратов (OLS) в линейной регрессии.

Описание задачи:

Предположим, у нас есть набор данных о недвижимости, включающий информацию о размере дома, количестве спален, расстоянии до ближайшего общественного транспорта и другие характеристики. Наша задача – предсказать цены на недвижимость на основе этих характеристик.

Ход решения:

1. Подготовка данных: Загрузим и предобработаем данные, например, удалим пропущенные значения и масштабируем признаки при необходимости.

2. Выбор модели: В данном случае мы выберем модель линейной регрессии, и для обучения этой модели будем использовать метод наименьших квадратов.

3. Обучение модели: Обучим модель на обучающем наборе данных.

4. Оценка модели: Оценим качество модели на тестовом наборе данных с использованием метрик качества, таких как средняя абсолютная ошибка (MAE) и коэффициент детерминации (R^2).

Пример кода:

```python

# Шаг 1: Подготовка данных (аналогично предыдущему примеру)

# Шаг 2 и 3: Выбор и обучение модели

from sklearn.linear_model import LinearRegression

# Создание и обучение модели линейной регрессии с использованием метода наименьших квадратов