Регуляризация (математика)

Регуляризация в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства.

С байесовской точки зрения многие методы регуляризации соответствуют добавлению некоторых априорных распределений на параметры модели.

Некоторые виды регуляризации:

$L_{1}$ -регуляризация (англ. lasso regression), или регуляризация через манхэттенское расстояние:
$L_{1}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}$ .
$L_{2}$ - регуляризация, или регуляризация Тихонова (в англоязычной литературе — ridge regression или Tikhonov regularization), для интегральных уравнений позволяет балансировать между соответствием данным и маленькой нормой решения:
$L_{2}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{a_{i}}^{2}$ .

Переобучение в большинстве случаев проявляется в том, что в получающихся многочленах слишком большие коэффициенты. Соответственно, необходимо добавить в целевую функцию штраф за слишком большие коэффициенты.

Нет решения относительно многокритериальной оптимизации или оптимизации, в которой область значения целевой функции есть пространство, на котором нет линейного порядка, или его затруднительно ввести. Почти всегда найдутся точки в области определения функции которую оптимизируют и которые удовлетворяют ограничениям, но значения в точках не сравнимые между собой. Чтобы найти все точки на кривой Парето, используют скаляризацию^[1]. В оптимизации регуляризация — это общий метод скаляризации для задачи двухкритериальной оптимизации^[2]. Варьируя параметр лямбда — элемент, который должен быть больше нуля в дуальном конусе относительно которого определён порядок — можно получить разные точки на кривой Парето.

Литература

Boyd S., Vandenberghe L. Convex Optimization. — UK : Cambridge University Press, 2004. — 716 p. — (Berichte über verteilte messysteme). — ISBN 9780521833783.

Машинное обучение и data mining
Задачи	Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение
Обучение с учителем	Метод k ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамблевое обучение Бэггинг Бустинг Метод случайного леса Метод релевантных векторов
Кластерный анализ	Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift
Снижение размерности	Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE
Структурное прогнозирование	Графовая вероятностная модель Байесовская сеть Скрытая марковская модель CRF
Выявление аномалий	Метод k ближайших соседей Локальный уровень выброса
Графовые вероятностные модели	Байесовская сеть Марковская сеть Скрытая марковская модель
Нейронные сети	Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации Сигмоида Softmax Радиально-базисная функция Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть Долгая краткосрочная память Управляемый рекуррентный блок Свёрточная нейронная сеть U-Net Автокодировщик
Обучение с подкреплением	Марковский процесс Уравнение Беллмана Жадный алгоритм Q-обучение SARSA Temporal difference (TD)
Теория	Размерность Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения
Журналы и конференции	NeurIPS ICML ML JMLR ArXiv:cs.LG

Read other articles:

Nicolae Ceaușescu

Artikel ini membutuhkan rujukan tambahan agar kualitasnya dapat dipastikan. Mohon bantu kami mengembangkan artikel ini dengan cara menambahkan rujukan ke sumber tepercaya. Pernyataan tak bersumber bisa saja dipertentangkan dan dihapus.Cari sumber: Nicolae Ceaușescu – berita · surat kabar · buku · cendekiawan · JSTOR (Januari 2018) Nicolae Ceaușescu Presiden Dewan Negara RumaniaMasa jabatan9 Desember 1967 – 22 Desember 1989 PendahuluChivu S...

Kampanye Anies Baswedan–Muhaimin Iskandar dalam pemilihan umum Presiden Indonesia 2024

Artikel ini perlu dikembangkan agar dapat memenuhi kriteria sebagai entri Wikipedia.Bantulah untuk mengembangkan artikel ini. Jika tidak dikembangkan, artikel ini akan dihapus. Anies - MuhaiminKampanye untukPemilihan umum Presiden Indonesia 2024KandidatAnies BaswedanGubernur DKI Jakarta (2017–2022)Muhaimin IskandarWakil Ketua DPR RI (2019–sekarang)AfiliasiKoalisi PerubahanStatusDidaftarkan:19 Oktober 2023Diresmikan:13 November 2023Tokoh kunciMuhammad Syaugi (Captain Timnas AMIN) Sudi...

Kelvin Leerdam

Kelvin Leerdam Kelvin bermain untuk Vitesse pada 2015Informasi pribadiTanggal lahir 24 Juni 1990 (umur 33)Tempat lahir Paramaribo, SurinameTinggi 1,79 m (5 ft 10 in)Posisi bermain Gelandang BertahanInformasi klubKlub saat ini LA GalaxyNomor 18Karier junior2000–2005 USV Elinkwijk2005–2008 FeyenoordKarier senior*Tahun Tim Tampil (Gol)2008–2013 Feyenoord 99 (5)2013–2017 Vitesse 91 (12)2017–2021 Seattle Sounders 106 (10)2021–2022 Inter Miami 29 (0)2022– LA Galax...

قائمة رؤساء أيرلندا

قائمة رؤساء أيرلندا (بالأيرلندية: Uachtarán na hÉireann)‏ قائمة رؤساء أيرلندا قائمة رؤساء أيرلندا مايكل دانييل هيجينز منذ 11 نوفمبر 2011 البلد جمهورية أيرلندا عن المنصب مدة الولاية 7 سنة تأسيس المنصب 25 يونيو 1938 الموقع الرسمي الموقع الرسمي، والموقع الرس�...

Arnold Mononutu

Ini adalah nama Minahasa, marganya adalah Mononutu. Prof. Mr.Arnold Mononutu Menteri Penerangan Indonesia ke-6Masa jabatan20 Desember 1949 – 6 September 1950PresidenSoekarnoPerdana MenteriMohammad Hatta PendahuluR. SyamsudinPenggantiR. SyamsudinMasa jabatan27 April 1951 – 3 April 1952PresidenSoekarnoPerdana MenteriSoekiman Wirjosandjojo PendahuluM.A. PellaupessyPenggantiPetahanaMasa jabatan3 April 1952 – 30 Juli 1953PresidenSoekarnoPerdana MenteriWilopo Pe...

Ramat Beit HaKerem

Ramat Beit HaKeremLingkunganNegara IsraelProvinsiYerusalemKotaYerusalemZona waktuUTC+3 (EAT) • Musim panas (DST)UTC+3 (EAT) Ramat Beit HaKerem adalah sebuah lingkungan di kota suci Yerusalem di Provinsi Yerusalem, tepatnya di sebelah timur Israel.[1] Referensi ^ National Geospatial-Intelligence Agency. GeoNames database entry. (search Diarsipkan 2017-03-18 di Wayback Machine.) Accessed 12 May 2011. lbsLingkungan di YerusalemLingkungan-lingkungan Yerusalem sebelah timu...

Beaurains

Ne doit pas être confondu avec Beaurain ou Beaurainville. Beaurains L'église Saint-Martin. Blason Administration Pays France Région Hauts-de-France Département Pas-de-Calais Arrondissement Arras Intercommunalité CU d'Arras Maire Mandat Pierre Ansart 2020-2026 Code postal 62217 Code commune 62099 Démographie Gentilé Beaurinois Populationmunicipale 5 515 hab. (2021 ) Densité 921 hab./km2 Géographie Coordonnées 50° 15′ 50″ nord, 2° 47′ 2...

Karma (film 1986)

KarmaSutradaraSubhash GhaiProduserSubhash GhaiDitulis olehSachin BhowmickSubhash GhaiKader KhanPemeranDilip KumarNutanSrideviJackie ShroffAnil KapoorPoonam DhillonNaseeruddin ShahAnupam KherDara SinghPenata musikLaxmikant-PyarelalSinematograferKamalakar RaoPenyuntingWaman BhonsleGurudutt ShiraliPerusahaanproduksiMukta Arts Ltd.DistributorMukta Arts Ltd.Lousanne FilmsTanggal rilis 8 Agustus 1986 (1986-08-08) Durasi194 menitNegaraIndiaBahasaHindi Karma (bahasa Inggris: Kelakuan) adal...

Inner Temple

One of the four Inns of Court in London, England Hare Court, within the Inner Temple The Honourable Society of the Inner Temple, commonly known as the Inner Temple, is one of the four Inns of Court and is a professional association for barristers and judges. To be called to the Bar and practise as a barrister in England and Wales, a person must belong to one of these Inns. It is located in the wider Temple area, near the Royal Courts of Justice, and within the City of London. As a liberty, it...

Gundam Evolution

Not to be confused with Gundam Evolve. This article has multiple issues. Please help improve it or discuss these issues on the talk page. (Learn how and when to remove these template messages) This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Gundam Evolution – news · newspapers · books · scholar · JSTOR (Sept...

Feronia

Disambiguazione – Se stai cercando altri significati, vedi Feronia (disambigua). Denario dell'epoca di Augusto, in argento, coniato sotto il magistrato monetario Petronio Turpilliano. A destra, il busto di profilo della dea Feronia coronata da un diadema, vestita di un drappo, una collana al collo. Legenda: TURPILLIANUS III VIR FE RON (Turpillianus essendo un magistrato triumviro monetario, a Feronia) Testa di Feronia rinvenuta a Punta di Leano (Terracina) e conservata nel Museo della Citt...

Kebebasan beragama di Amerika Serikat

Di Amerika Serikat, kebebasan beragama haknya dijamin oleh konstitusi yang tersedia dalam klausa agama dari Undang-Undang Amendemen Pertama (First Amendement). Kebebasan beragama sangat dekat hubungannya dengan pemisahan gereja dan negara, sebuah konsep yang ditulis oleh Thomas Jefferson.[1] Monumen untuk menghormati hak beribadat, Washington, D.C. Konsep resmi yang modern dari kebebasan beragama sebagai gabungan dari kebebasan kepercayaan dan kebebasan beribadat yang ada. Fondasi Huk...

Beauharnois Canal

For other uses, see Beauharnois. Beauharnois CanalAerial view of the Beauharnois CanalSpecificationsLength20 km (12 miles)Locks2Maximum height above sea level45 m (148 ft)HistoryConstruction began1929Date completed1932 The Beauharnois Canal is located in southwestern Quebec, Canada. The canal is part of the Saint Lawrence Seaway. Located in Beauharnois-Salaberry Regional County Municipality within the cities of Salaberry-de-Valleyfield, Beauharnois, Saint-Louis-de-Gonzague, and...

乌克兰总理

烏克蘭總理Прем'єр-міністр України烏克蘭國徽現任杰尼斯·什米加尔自2020年3月4日任命者烏克蘭總統任期總統任命首任維托爾德·福金设立1991年11月后继职位無网站www.kmu.gov.ua/control/en/（英文）乌克兰乌克兰政府与政治系列条目宪法政府总统弗拉基米尔·泽连斯基總統辦公室国家安全与国防事务委员会总统代表（英语：Representatives of the President of Ukraine）总...

Masa Demi Masa

Masa Demi MasaAlbum kompilasi karya ADA BandDirilis2013Direkam2003–2013GenrePop RockLabelUniversal Music IndonesiaBermudaKronologi ADA Band Empati (2011)Empati2011 Masa Demi Masa (2013) Chemistry (2016)Chemistry2016 Masa Demi Masa merupakan album kompilasi terbaik ketiga karya ADA Band yang dirilis pada tahun 2013. Album ini memuat 10 lagu, 3 di antaranya adalah lagu baru dan 7 lagu lainnya yang diambil dari album-album terdahulu bersama vokalis Donnie Sibarani, dengan hits mereka yang...

Cardinal O'Hara High School (Tonawanda, New York)

Private school in Tonawanda, New York, United States Cardinal O'Hara High SchoolAddress39 O'Hara RoadTown of Tonawanda, (Erie County), New York 14150United StatesCoordinates43°0′0″N 78°51′45″W / 43.00000°N 78.86250°W / 43.00000; -78.86250InformationTypePrivate, CoeducationalMottoEnvision ∙ Explore ∙ ExperienceReligious affiliation(s)Catholic;FranciscanEstablished1961PrincipalMary HolzerlandFaculty28Grades9-12Enrollment259[1] (2021)Color(s)B...

جنوب إيطاليا

جنوب إيطاليا Mezzogiorno الإحداثيات 41°11′39″N 15°14′33″E / 41.194189°N 15.242417°E / 41.194189; 15.242417 تقسيم إداري البلد إيطاليا مناطق إيطاليا List أبروتسو بوليا بازيليكاتا كالابريا كامبانيا موليزي صقلية سردينيا خصائص جغرافية المجموع 123٬024 كم2 (47٬500 ميل2) عدد الس...

R Street Institute

American political advocacy organization R Street InstituteFormation2012TypeThink tankHeadquarters1212 New York Ave. NW, Suite 900Washington, DC 20005LocationWashington, D.C.PresidentEli LehrerRevenue (2015) $4,164,948[1]Expenses (2015)$3,471,241[1]Websitewww.rstreet.org The R Street Institute is an American center-right think tank headquartered in Washington, D.C.[2] The institute's stated mission is to engage in policy research and outreach to promote free markets an...

14th Street (Hoboken)

County highway in Hudson County, New Jersey, United States 14th Street14th Street ViaductThe 14th Street Viaduct and Wing Viaduct connecting Hoboken, Union City, and Jersey City HeightsPart of CR 670Length0.66 mi (1.06 km)[1]LocationHoboken and Union City, Hudson County, New JerseyWest end CR 683 in Union CityEast endSinatra Drive in HobokenNorth15th StreetSouth13th StreetConstructionCompletion1908 (viaduct) 14th Street is a county highway in Hudson County, New Jer...

أمير ناخب

أمير ناخبمعلومات عامةصنف فرعي من فورستناخب سُمِّي باسم الانتخابات الإمبراطورية الاختصاص الإمبراطورية الرومانية المقدسة تعديل - تعديل مصدري - تعديل ويكي بيانات الأمراء الناخبون السبعة ينتخبون إمبراطوراً. أمير ناخب (بالألمانية: kurfürst استمعⓘ) منصب في الإمبراطورية الروماني...