00:00Всем привет, начинаем бесплатную открытую лекцию в Discord

00:02Наши лекции проводятся еженедельно

00:05Если вы зритель, хотите задать свой вопрос и получить на него ответ, присоединяйтесь к нашим лекциям

00:12Ссылку на Discord можно найти в нашем Telegram-канале, там же вы можете узнать время проведения лекций, присоединяйтесь к нам

00:19А соответственно, где у нас находится вектор R? Ну, R, в принципе, он может находиться вне этой плоскости, чтобы это уравнение сошлось

00:29R у нас находится между AX и B, то есть R - это вот эта вот разница между вектором AX и вектором B

00:35Это у нас следует вот из нашего уравнения, то есть вот это

00:41Вектор R, потому что R - это B - AX, то есть вот он здесь находится

00:53Теперь, в чём как бы идея? Идея в том, что нам нужно найти вот это решение приближённой системы, то есть нам нужно найти вектор X таким образом, чтобы вот этот вектор R, ну точнее, его длина была минимальной

01:10То есть, вот я сейчас взял какой-то произвольный вектор X, попал сюда, вот вектор R

01:14А что будет, если я возьму вектор X по-другому? Он будет указывать куда-нибудь вот сюда, тогда у меня уже R будет, вектор R будет вот таким

01:28А если я возьму X таким образом, что AX будет вот здесь, то тогда у меня вектор R будет вот таким

01:34Если в общем понятен принцип, да, я меняю X

01:40Вектор А тоже меняется

01:46Единственное, что с ним не может произойти, он не сможет вырваться из вот этого пространства столбцов, из вот этой плоскости, то есть вот здесь он оказаться не может, но он где-то..

01:52Я меняю X, соответственно, существует этой лосс, а нам нужно вот эту ошибку, или, вернее, остаток, сделать каким? Нам его нужно сделать минимальным

02:09Исходя из этого, у меня к вам вопрос: вот каким должен быть Вектор X, где он здесь должен располагаться, чтобы вот это R было как можно меньше? То есть у нас есть вот эта плоскость, по ней путешествует, я меняю Вектор X, а X путешествует по этой плоскости, вот куда я должен поместить Вот этот вектор AX таким образом, чтобы остаток, вот это расстояние между вектором AX и вектором B, а вектор B лежит вне этой плоскости, чтобы оно было минимальным на месте проекции вектора B на плоскость

02:44Ну да, а проекция вектора B на плоскость, это как мы её найдём? Что будет? Ну, то есть, какая это будет проекция? Проекция бывает разная, перпендикулярная

02:55Ну да, это будет ортогональная проекция

02:57То есть это должен пендикуляр, вектор X, который нам даёт произведение AX таким образом, что вот это R будет перпендикуляром

03:08Я назову X с крышкой, соответственно, этот вектор будет AX с крышкой

03:16Хочешь стать крутым? Программистом, подпишись на наш Telegram-канал

03:21Для этого я перестал использовать стрелочки, чтобы здесь не писать, а стрелочка здесь, а крышка её наверху, стрелочка

03:28Помните, что X - это векторы, а это матрица, только этот вектор просто X, а этот я обозначаю X с крышкой

03:36Соответственно, вот это вот расстояние я буду обозначать R с крышкой, вот этот вектор, поскольку AX находится в этой плоскости, AX с крышкой тоже находится в этой плоскости, соответственно, их разница, вот этот вектор, он тоже находится в плоскости

03:54Я выбрал X с крышкой таким образом, что вот здесь у меня перпендикуляр, ну это логично

04:04Давайте посмотрим

04:14На всё это дело со стороны, как это будет выглядеть, то есть посмотрим как бы сбоку на эту картинку, тогда у меня вот эта плоскость превратится в прямую, вот это вот, а вот здесь у меня вектор AX

04:25Да, вот здесь у меня вектор B

04:30Вот это расстояние R, или остаток, да, мне нужно сделать его как можно меньше

04:35У меня А с крышкой ходит, бродит вот по этой прямой, и я догадываюсь, что если он будет вот здесь, вот это R, которую я обозначаю R с крышкой, оно будет самым маленьким среди всех возможных R, вот это А с крышкой

04:54Ну, понятно, что вот, чем перпендикуляр, такой ещё больше, это ещё больше, ещё, ещё, ещё, в эту сторону тоже пойду

05:00Вот перпендикуляр

05:05Длина вот этой прямой больше, это ещё больше, это ещё, ещё, ещё больше

05:10То есть перпендикуляр, по идее, должен нам обеспечить наименьшую ошибку

05:17Соответственно, во-первых, у нас теперь стоит две задачи: первое, надо всё-таки формулами постараться показать, что действительно вот это вот R с крышкой, точнее, длина меньше, чем длина любого другого вектора R

05:39То есть то, что вот этот остаток, вот это, он действительно самый маленький

05:46А после того, как мы это покажем, нам, собственно, нужно каким-то образом вычислить вот это

05:52То есть R нам известен, вектор нам каким-то образом надо будет найти вектор X с

06:02С крышкой, то есть вот у нас стоят две задачи

06:04Так вот этот рисунок, потому что вот это ключевое объяснение всей вот этой концепции, вот этого метода наименьших квадратов, он вам понятен или мне ещё нужно ещё раз повторить, что здесь происходит? Потому что, с одной стороны, тема не сильно сложная, но, с другой стороны, немножко запутанная

06:35Ещё раз объяснить, что на этом рисунке происходит, или всем понятно? Так, ну, давайте я ещё раз пройдусь, чтобы прям точно гарантировано было всем понятно: мы решаем вот такую систему уравнений, то есть нам нужно найти бета нулевое, бета 1, которые удовлетворяют этой системе уравнений

06:55Но мы с вами понимаем, что такого решения нет, мы будем искать примерное решение

07:00Каким образом мы будем искать примерное решение? Мы перейдём от системы один к системе два, то есть здесь мы добавили остатки, мы их добавили для того, чтобы получить систему, которая имеет точное решение

07:16Вот эта система имеет точное решение, но таких решений будет несколько, их много: решение бета нулевое и бета один, таким образом, чтобы вот эта ошибка была минимальной, чтобы вот эти остатки были как можно меньше, то есть, иными словами, чтобы прямая проходила как можно ближе к исходным точкам, исходным данным

07:46Для этого, чтобы понять, что Здесь происходит, мы систему 2 переписываем в векторном виде, получили вот эту вот систему 4

07:54Теперь разбираемся, что здесь происходит: а я матрицу А умножаю на вектор X

08:03Что это значит? Это значит, что когда я умножаю матрицу А на вектор X, вектор X из двумерного пространства, из двумерного вектора, превращается в трёхмерный вектор AX, и он лежит вот в этой плоскости

08:23Эта плоскость - это пространство столбцов матрицы А, но это следует вот просто из математических рассуждений, из определения, по сути дела, умножения матрицы на вектор

08:35То есть, когда я матрицу А умножаю на вектор X, у меня вектор попадает в Пространство столбцов никуда ещё он попасть не может, только сюда, то есть он лежит в этой плоскости

08:50Вот, если это вектор AX, то он может быть только в этой плоскости, он не может быть вне этой плоскости

08:55Ну, замечательно

09:00Теперь, если бы у нас было уравнение AX = B, и оно бы имело решение, то вот этот вектор B, он бы тоже лежал в этой плоскости, но у нас э точного решения этой системы нет

09:20У нас есть точное решение у системы AX + R = B

09:23А это значит то, что вектор B лежит вне этой плоскости, то есть вот что мы имеем: вектор AX лежит в плоскости, вектор B лежит вне плоскости, но, как я уже сказал, у этой системы решений много, в зависимости

09:39От того, какой вектор R, как между собой взаимосвязаны решение, то есть вектор X и вектор R

09:48Я беру какое-то решение, то есть вектор X, то есть два числа, бе, ну, бе, и подставляю их сюда, и я получаю какой-то вектор AX

10:02Он лежит в этой плоскости

10:06Этому вектору AX соответствует какой-то вектор R - это расстояние до вектора B

10:12Так вот, наша задача состоит в том, чтобы найти такой вектор X, чтобы расстояние между ним и вектором B было минимальным

10:25Вот мы нашими рассуждениями пришли к выводу, что это должен быть такой вектор X, мы его будем обозначать X с крышкой, который находится вот здесь, то есть расположен таким образом, что Вот этот вектор R, то есть расстояние между А с крышкой и вектором B, является перпендикуляром, вот мы его нашли

10:49И теперь у нас есть две задачи, и мы строго про рассуждали, что действительно вот это расстояние R с крышкой, да, которое соответствует вектору А с крышкой, действительно самая маленькая

11:10Этот вектор, его длина самая маленькая среди всех возможных векторов R, и собственно, найти вектор X с крышкой, то есть нам известно А, нам известно B, нужно его найти

11:21Это и будет одно из точных решений вот этой системы, системы 4 или системы 2, это одно из множества решений, при этом оно будет таким, что вот сумма Квадратов вот этих, она минимальна, соответственно, вот это решение мы будем считать приближенным решением данной системы, которая нас полностью устраивает

11:50Хочешь стать крутым программистом? Подпишись на наш Telegram-канал.