[БЕЗ_ЗВУКА] В этом видео мы поговорим о линейной независимости.

Это очень важное понятие при работе с векторами.

В прошлых видео мы не один раз рассматривали пример с магазинами,

когда мы хотим предсказать прибыль каждого из магазинов в следующем месяце.

Допустим, у нас есть 100 магазинов, каждый из которых описывается десятью признаками,

десятью числами.

Тогда мы можем составить таблицу размера 100 x 10,

где каждая строка будет соответствовать признаковому описанию одного магазина,

а каждый столбец — набору значений одного признака на всех магазинах.

Раньше в качестве векторов мы рассматривали строки этой таблицы,

то есть каждый вектор являлся признаковым описанием одного магазина.

В этом видео ситуация будет противоположная: в качестве векторов будем

рассматривать столбцы этой таблицы.

То есть один вектор будет содержать значение одного признака на всех

магазинах.

Что, если вектор первого признака равен вектору второго признака,

умноженного на 1000?

Это может означать, что и первый, и второй признаки — это суммарный вес товаров,

которые завезут в магазин в следующем месяце.

Но при этом первый признак равен этому весу в граммах, а второй — в килограммах.

Понятно, что это избыточная информация.

Нам не нужно знать значения этого признака и в одной, и в другой единице измерения.

Достаточно знать лишь одно из этого.

Вот второй пример.

Представьте, что третий признак равен среднему значению четвёртого и пятого

признаков.

Это может означать, что четвёртый признак — это прибыль магазина в прошлом месяце.

Пятый признак — прибыль в позапрошлом месяце.

Тогда значение третьего признака имеет смысл средней прибыли магазина за

последние два месяца.

Это снова избыточная информация.

Эта ситуация, в которой один вектор выражается как сумма с

коэффициентами других векторов, называется линейной зависимостью.

Линейная зависимость — это довольно плохо.

Дело в том, что она приводит к избыточности информации.

Мы храним те векторы,

которые на самом деле выражаются через остальные довольно простым способом.

Также мы тратим дополнительные ресурсы на хранение лишней информации.

Тоже не очень хорошо: приводит к лишним денежным затратам.

Также линейная зависимость вредит некоторым методам машинного обучения,

например линейным.

Об этом мы будем говорить в следующих занятиях.

Дадим формальное определение.

Пусть дан набор векторов x1, ..., xn.

xi-тая — это один вектор, значение признаков,

значение одного признака на всех объектах.

Эти векторы линейно зависимы, если существуют такие числа β1,

..., βn, что хотя бы одно из них...

хотя бы один из них не равен нулю,

и при этом сумма векторов с этими коэффициентами равна нулю.

Кстати, обратите внимание: в этом уравнении слева стоит сумма с

коэффициентами векторов,

то есть это тоже вектор, значит и справа должен стоять вектор из всех нулей,

который мы просто обозначаем нулем, как и вещественное число.

Можно дать немного альтернативное определение линейной зависимости.

Возьмём вектор, в нашем примере это i‐тый вектор,

при котором коэффициент не равен нулю.

Перенесём этот вектор в другую часть равенства, поделим на коэффициент βi-тая,

переобозначим коэффициенты и получим аналогичное определение: система векторов

линейно зависимая, если один из них выражается через все остальные.

Обратите внимание на одну особенность этого определения.

Если один из векторов нулевой, то все они будут сразу линейно зависимы.

Дело в том, что мы можем взять коэффициент перед нулевым вектором равным единице,

при остальных векторах коэффициенты — ноль,

и определение линейной зависимости будет выполнено.

Это вполне логично: если один из векторов нулевой,

он не содержит в себе никакой информации, сразу система становится избыточной.

Опеределение линейной независимости дать просто.

Система векторов линейно независимая,

если для неё не выполнено определение линейной зависимости.

Или, что то же самое, уравнение β1 * х1 + β2 * х2 +...

+ βn * xn равно нулю только в том случае,

если все коэффициенты β1, β2, ..., βn равны нулю.

Это и есть опеределение линейной независимости.

Рассмотрим простой пример.

Пусть дано три вектора из евклидова пространства R3,

то есть векторы длины три.

Первый из них имеет вид (2, 1, 2), второй — (4, 2, 4), третий — (1, 2, 3).

Если мы возьмём первый вектор, умножим его на два и вычтем второй вектор,

то получим нулевой вектор.

Это значит, что эта система векторов линейно зависима.

А что будет,

если мы заменим первую координату во втором векторе с четвёрки на пятёрку?

Оказывается, система станет линейно независимой.

Но как это можно было понять?

Есть два способа.

Первый из них — это метод Гаусса,

который позволяет привести систему векторов к такому виду,

в котором будет очевидно — она является линейно зависимой или линейно независимой.

Но мы не будем его изучать, потому что есть гораздо более простой способ:

вычислить ранг системы векторов, например, на компьютере.

Об этом будем говорить в следующих видео этого урока.

Напоследок поговорим о ещё одном важном понятии,

которое вытекает из линейной независимости — это размерность.

Пусть дано некоторое векторное пространство V.

Максимальное число линейно независимых векторов в нём и называется размерностью

этого пространства и обозначается как dim V.

Например, для евклидова пространства Rn размерность равняется как раз таки n,

то есть длине вектора в нём.

Это легко показать.

Представьте себе систему векторов e1, e2, ..., en,

где вектор ei имеет следующий вид: в нём ровно одна координата — i‐тая

— равна единице, а все остальные координаты равны нулю.

Эти векторы линейно независимы,

но при этом любой другой вектор в Rn выражается линейно через них.

Такой набор векторов, через который выражается любой другой вектор,

называется базисом векторного пространства.

Итак, что мы узнали?

Понятие линейной зависимости позволяет выявлять избыточность информации в

системе векторов.

Векторы линейно зависимы, если один из них выражается через все остальные.

При этом установить факт линейной зависимости или независимости можно,

вычислив ранг системы векторов.

Также мы ввели понятие размерности векторного пространства — это максимальное

число линейно независимых векторов в нём.

Линейная независимость

Математика и Python для анализа данных

与讲师见面