Как еще можно использовать метод наименьших квадратов?

Методом наименьших квадратов (МНК) называют метод оценки величин по результатам множества измерений, содержащим случайные ошибки.

Суть метода заключается в том, что критерием качества рассматриваемого решения является сумма квадратов ошибок, которую стремятся свести к минимуму. Для применения этого метода требует провести как можно большее число измерений неизвестной случайной величины (чем больше — тем выше точность решения) и некоторое множество предполагаемых решений, из которого требуется выбрать наилучшее. Если множество решений параметризировано, то нужно найти оптимальное значение параметров.

Почему сводятся к минимуму квадраты ошибок, а не сами ошибки? Дело в том, что в большинстве случаев ошибки бывают в обе стороны: оценка может быть больше измерения или меньше его. Если складывать ошибки с разными знаками, то они будут взаимно компенсироваться, и в итоге сумма даст нам неверное представление о качестве оценки. Часто для того, чтобы итоговая оценка имела ту же размерность, что и измеряемые величины, из суммы квадратов ошибок извлекают квадратный корень.

МНК используется в математике, в частности — в теории вероятностей и математической статистике. Наибольшее применение этот метод имеет в задачах фильтрации, когда необходимо отделить полезный сигнал от наложенного на него шума. Его применяют и в математическом анализе для приближённого представления заданной функции более простыми функциями. Ещё одна из областей применения МНК — решение систем уравнений с количеством неизвестных меньшим, чем число уравнений.

Я придумал ещё несколько весьма неожиданных областей применения МНК, о которых хотел бы рассказать в этой статье. МНК и опечатки

Бичом автоматических переводчиков и поисковых систем являются опечатки и орфографические ошибки. Действительно, если слово отличается всего на 1 букву, программа расценивает его уже как другое слово и переводит/ищет его неправильно или не переводит/не находит его вообще.

У меня возникла похожая проблема — имелось две базы данных с адресами московских домов, и надо было их объединить в одну. Но адреса были записаны в разном стиле: в одной базе был стандарт КЛАДР (всероссийский классификатор адресов), например «БАБУШКИНА ЛЕТЧИКА УЛ., Д10К3», а в другой базе был почтовый стиль, например: «Ул. Летчика Бабушкина, дом 10 корп. 3». Вроде бы ошибок нет в обоих случаях, а автоматизировать процесс невероятно сложно (в каждой базе по 40 тысяч записей!). Хотя и опечаток там тоже хватало… Как дать компьютеру понять, что 2 вышеприведённых адреса принадлежат одному и тому же дому? Тут-то мне и пригодился МНК.

Что я сделал? Найдя очередную букву в первом адресе, я искал ту же букву во втором адресе. Если они обе находились на одном и том же месте, то я полагал ошибку для этой буквы равной 0. Если они располагались на соседних позициях, то ошибка была равна 1, если имелся сдвиг на 2 позиции, ошибка равнялась 2 и т. д. Если такой буквы вообще не имелось в другом адресе, то ошибка полагалась равной n+1, где n — число букв в 1-м адресе. Таким образом, я вычислял сумму квадратов ошибок и соединял те записи, в которых эта сумма была минимальной.

Разумеется, номера домов и корпусов обрабатывались отдельно. Не знаю, изобрёл ли я очередной «велосипед», но задача была решена быстро и качественно. Интересно, применяется ли этот метод в поисковых системах? Возможно, применяется, поскольку каждый уважающий себя поисковик при встрече незнакомого слова предлагает замену из знакомых слов («возможно вы имели в виду…»). Впрочем, они могут делать этот анализ как-то по-другому. МНК и поиск по картинкам, лицам и картам

Этот метод можно применить и в поиске по картинкам, чертежам, картам и даже по лицам людей.

Сейчас все поисковики, вместо поиска по картинкам, по сути используют поиск по подписям к картинкам. Это, несомненно, полезный и удобный сервис, но я предлагаю дополнить его настоящим поиском по картинкам. Вводится картинка-образец, и для всех изображений составляется рейтинг по сумме квадратов отклонений характерных точек. Определение этих самых характерных точек есть сама по себе нетривиальная задача. Однако она вполне решаема: например, для лиц это уголки глаз, губ, кончик носа, ноздри, края и центры бровей, зрачки и т. д.

Сопоставив эти параметры, можно найти лицо, наиболее похожее на образец. Я уже видел сайты, где такой сервис работает, и вы можете найти знаменитость, наиболее похожую на предложенную вами фотографию и даже составить анимацию, превращающую вас в знаменитость и обратно. Наверняка, этот же метод работает в базах МВД, содержащих фотороботы преступников.

Да и по отпечаткам пальцев можно тем же методам делать поиск. Поиск по картам ориентируется на естественные неровности географических объектов — изгибы рек, горных хребтов, очертания берегов, лесов и полей.

Вот такой замечательный и универсальный метод МНК. Я уверен, что вы, дорогие читатели, сможете и сами найти множество необычных и неожиданных областей применения этого метода.


22:35 24.03.2017



Отзывы и комментарии
Ваше имя (псевдоним):
Проверка на спам:

Введите символы с картинки:



Игрокам нужно чаще расслабляться

Игрокам нужно чаще расслабляться

На американских официальных форумах MMORPG World Of Warcraft от компании Blizzard Entertainment не утихают философские споры о сути игры и того, что в ней делают пользователи. Так, один из игроков под...
Эхинацея настойка

Эхинацея настойка

В древности индейцы, жившие в прериях Северной Америки, считали эхинацею главным своим лекарством. Они делали из ее корней припарки и компрессы, прикладывали их к ранам, к местам укусов насекомых и да...
Вкусные рецепты: Хачапури по белорусски, ПАШТЕТ"ТЕЩА", Желейно-персиковый тортик

Вкусные рецепты: Хачапури по бел...

Хачапури по белорусскиДрожжи и сахар растворить в 50 гр.тёплого молока,оставить на 10 мин. Соединить молоко и воду,добавить яйцо,растит.масло,соль,дрожжи и всё перемешать,добавить муки и замесить мягк...
Мини АЗС для дизельного топлива, бензина, ГСМ

Мини АЗС для дизельного топлива,...

Использование мини АЗС дает возможность производить заправку техники на местах, в независимости от расположения стационарных заправочных станций. Её достаточно просто при необходимости перевозить с од...
1С:Управляющий — автоматизация управленческого учета

1С:Управляющий — автоматизация у...

Программа позволяет автоматизировать внутренний учет предприятия, показывает реальную прибыль по направлениям его деятельности, позволяет контролировать денежные средства, имущество предприятия, произ...
Как лучше выбирать погрузчик

Как лучше выбирать погрузчик

Перед тем, как начать непосредственный выбор модели автопогрузчика, рекомендуется определиться с несколькими важными условиями: какие и как много функций он будет выполнять, с какими грузами ему приде...
Образование и НаукаЕда, рецептыТехника и ИнтернетТовары и услугиАвто и МотоМедицина и здоровьеИскусство и культураЭкономические статьиДом и квартираДом и семьяИнтимная жизнь
Стоит прочесть:

Новости развития информационнного портала:

Наш портал является ресурсом, который включает в себя широкий ассортимент познавательных и отличных статей. Каждый гость отыщет для себя что-нибудь полезное. Современный дизайн позволяет вам моментально находить нужную информацию. Самые разнообразные тематические статьи дают возможность вам совершенствоваться в той или иной сфере. Быть более начитанным и грамотным. Современный дизайн сайта позволяет просматривать статьи на всех существующих планшетах. Теперь найти нужную информацию стало совершенно просто.

Мы подобрали для вас полезные и занимательные статьи. У нас сайте вы найдете ответы на интересующие вас вопросы. Простая система поиска позволяет вам в кратчайшие сроки отыскать нужную информацию. Адаптированный дизайн позволяет вам просматривать информацию на любых гаджетах. Теперь, поиск требуемой информации будет занимать у вас секунды.