Q学習

Q学習(Qがくしゅう、: Q-learning)は、機械学習分野における強化学習の一種である。

概要

Q学習は強化学習の方策オフ型時間差分法の一つである。概念自体は古くから存在するが、Q学習(Q-learning)という名前で今日の手法がまとめられたのは、1989年のクリストファー・ワトキンズ(Christopher J.C.H. Watkins)の博士論文に端を発する。[1]

TD学習 になるように学習させるが、Q学習はこれを に置き換えたものである。状態価値関数 の代わりに、行動価値関数 を使用する。

Q学習は有限マルコフ決定過程において全ての状態が十分にサンプリングできるようなエピソードを無限回試行した場合、最適な評価値に収束することが理論的に証明されている。実際の問題に対してこの条件を満たすことは困難ではあるが、この証明はQ学習の有効性を示す要素の一つとして挙げられる。

Q学習の内容

Q値

Q学習では実行するルールに対しそのルールの有効性を示す行動価値のQ値(Q-value)という値を持たせ、エージェントが行動するたびにその値を更新する。ここでいうルールとはある状態とその状態下においてエージェントが可能な行動を対にしたものである。例えばエージェントの現在の状態をとし、この状態で可能な行動が, , , の4通りあるとする。このとき、エージェントは4つのQ値、 を元に行う行動を決定する。

行動価値関数Qは、ある状態である行動を行った際、現在および将来に得られる報酬になるように学習させる。ただし、将来分の報酬は、経済学でも使われる割引率をかけた物を使用する。経済学と同じく、割引率をかけることで将来分の報酬が発散することを防ぎ、直近に得られる報酬に重きを置いている。

行動選択

行動の決定方法は理論上では無限回数試行するならランダムでも行動価値関数Qの収束は証明されているが、現実には収束を早めるため、なるべくQ値の大きな行動が高確率で選ばれるように行う。選択方法としては、ある小さな確率でランダムに選択し、それ以外ではQ値の最大の行動を選択する-グリーディ手法や、遺伝的アルゴリズムで使用されているルーレット選択、以下のようなボルツマン分布を利用したソフトマックス手法などが使用されている。

ここで は正の定数、 は状態 でエージェントが可能な行動の集合である。

行動価値関数の更新

行動を決定した場合、次にその状態と行動の行動価値関数Qを更新する。状態 のエージェントが行動 を選び、報酬 を得て、状態が に遷移したとする。このとき行動価値関数 を次の式で更新する。[2]

ここで は学習率といい、 とし、後述のように時間と共に減衰させても良い。割引率といい、 な定数である。上記の更新式は現在の状態から次の状態に移ったとき、そのQ値を(報酬+割引率×次の状態で最も高いQ値)に近づけることを意味している。このことにより、ある状態で高い報酬を得た場合はその状態に到達することが可能な状態にもその報酬が更新ごとに伝播することになる。これにより、最適な状態遷移の学習が行われる。

学習率

Q学習は報酬が有界で、学習率 が以下の条件を満たすとき(つまりこの条件で時間と共に減衰させたとき)、全てのQ値は確率1で最適な値に収束することを1992年にChristopher J. C. H. Watkins等が証明した。(この条件を満たさないと収束しないという意味では無く、定数でも収束するときは収束する)[3]

この収束性の良さのためQ学習に関する多くの研究がなされているが、いくつかの問題点も指摘されている。例えばQ学習による理論的保証は値の収束性のみであり、収束途中の値には具体的な合理性が認められないため、(価値反復法の)Q学習は方策勾配法と比べると学習途中の結果を近似解として用いにくい。また、パラメータの変化に敏感でありその調整に多くの手間が必要である、などがある。

参考文献

  • Watkins, Christopher J.C.H. (1989). Learning from Delayed Rewards. PhD thesis, Cambridge University, Cambridge, England. PDFダウンロード
  • 松本啓之亮、黄瀬浩一、森 直樹、『知能システム工学入門』、コロナ社、2002年、ISBN 4-339-02392-2
  • 大内 東、山本雅人、川村秀憲『マルチエージェントシステムの基礎と応用』、コロナ社、2002年、ISBN 4-339-02388-4

参照

  1. ^ Christopher J. C. H. Watkins. “PhD Thesis: Learning from Delayed Rewards”. cs.rhul.ac.uk. 30 November 2023閲覧。
  2. ^ Richard S. Sutton; Andrew G. Barto (2018). Reinforcement Learning, second edition: An Introduction. Bradford Books. ISBN 978-0262039246. http://incompleteideas.net/book/the-book-2nd.html 
  3. ^ Watkins, Christopher J. C. H.; Dayan, Peter (1992-05-01). “Q-learning”. Machine Learning 8 (3): 279–292. doi:10.1007/BF00992698. 

関連項目

Read other articles:

Product of reproduction of an organism This article is about a biological term. For the punk rock band, see The Offspring. For other uses, see Offspring (disambiguation). This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Offspring – news · newspapers · books · scholar · JSTOR (April 2014) (Learn how and when t...

 

Bintang MahaputeraDianugerahkan oleh Presiden IndonesiaTipeBintang sipilDibentuk1959Negara IndonesiaKelayakanSipilStatusMasih dianugerahkanPemilik PertamaPresiden IndonesiaStatistikPenganugerahan pertama1959[1]Penganugerahan terakhir2023PrioritasTingkat lebih tinggiBintang Republik IndonesiaTingkat lebih rendahBintang JasaBintang KemanusiaanBintang Penegak DemokrasiBintang Budaya Parama DharmaBintang GerilyaBintang SaktiBintang Dharma Bintang Mahaputera adalah tanda kehormatan te...

 

Architecture in Bathurst, a regional city in the state of New South Wales, Australia includes a unique collection of architecture. This architecture reflects Bathurst's history from colonial through to recent times, with many examples remaining intact. Historical buildings range from workers cottages, terrace houses, mansions, slab huts, industrial, commercial buildings and grand civic structures. Holy Trinity Church, Kelso, built 1834. St Stephen's Church, built 1872. Historical image of 'D...

For the grandfather of Nicolaus Copernicus, see Lucas Watzenrode the Elder. This article has multiple issues. Please help improve it or discuss these issues on the talk page. (Learn how and when to remove these template messages) This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Lucas Watzenrode – news · newspapers · book...

 

Private liberal arts college in Norton, Massachusetts Not to be confused with Wheaton College (Illinois). This article contains academic boosterism which primarily serves to praise or promote the subject and may be a sign of a conflict of interest. Please improve this article by removing peacock terms, weasel words, and other promotional material. (May 2023) (Learn how and when to remove this template message) Wheaton CollegeFormer namesWheaton Female Seminary (1834–1912)MottoThat They May ...

 

追晉陸軍二級上將趙家驤將軍个人资料出生1910年 大清河南省衛輝府汲縣逝世1958年8月23日(1958歲—08—23)(47—48歲) † 中華民國福建省金門縣国籍 中華民國政党 中國國民黨获奖 青天白日勳章(追贈)军事背景效忠 中華民國服役 國民革命軍 中華民國陸軍服役时间1924年-1958年军衔 二級上將 (追晉)部队四十七師指挥東北剿匪總司令部參謀長陸軍�...

American pay television channel This article is about the TV channel in the United States and Canada. For other uses, see TLC. Television channel TLCCountryUnited StatesBroadcast areaUnited StatesCanadaHeadquartersSilver Spring, Maryland, United StatesProgrammingLanguage(s)EnglishSpanish (via SAP audio track)Picture format1080i HDTV(downscaled to letterboxed 480i for the SDTV feed)OwnershipOwnerWarner Bros. DiscoveryParentWarner Bros. Discovery NetworksSister channels List Adult Swim American...

 

Historic house in Michigan, United States United States historic placeBenjamin and Mary Ann Bradford HouseU.S. National Register of Historic Places Show map of MichiganShow map of the United StatesLocation48145 Warren Rd.Nearest cityCanton, MichiganCoordinates42°20′7″N 83°30′54″W / 42.33528°N 83.51500°W / 42.33528; -83.51500Arealess than one acreBuilt1860Architectural styleGreek RevivalMPSCanton Township MPSNRHP reference No.00000648[1 ...

 

PlougrescantcomunePlougrescant – VedutaCastel Meur, la celebre casa tra la rocce nei dintorni di Plougrescrant LocalizzazioneStato Francia Regione Bretagna Dipartimento Côtes-d'Armor ArrondissementLannion CantoneTréguier TerritorioCoordinate48°51′N 3°14′W / 48.85°N 3.233333°W48.85; -3.233333 (Plougrescant)Coordinate: 48°51′N 3°14′W / 48.85°N 3.233333°W48.85; -3.233333 (Plougrescant) Altitudine50 m s.l.m. Superfic...

82nd 24 Hours of Le Mans endurance race 2014 24 Hours of Le Mans Previous: 2013 Next: 2015 Index: Races | Winners Circuit de la Sarthe track Marcel Fässler, André Lotterer, and Benoît Tréluyer hoist the winners trophy during the podium ceremony Audi Sport Team Joest No. 2 Audi R18 e-tron quattro, Winner of the 2014 24 Hours of Le Mans Handprint's Winners 2014 in the Walk of fame at Le Mans The 82nd 24 Hours of Le Mans (French: 82e 24 Heures du Mans) was an 24-hour automobile endurance rac...

 

Romanian football club Football clubSporting RoșioriFull nameClubul Sportiv SportingRoșiori de VedeShort nameSportingFounded2008; 16 years ago (2008)GroundRovaCapacity4,000OwnerRoșiorii de Vede MunicipalityChairmanPaul MaraManagerCristian NegruLeagueLiga III2022–23Liga III, Seria VI, 3rd Home colours Away colours Clubul Sportiv Sporting Roșiori de Vede, commonly known as Sporting Roșiori de Vede or simply as Sporting Roșiori is a Romanian professional football club b...

 

爆買い各種表記繁体字: 爆買簡体字: 爆买拼音: bào mǎi発音: バオマイテンプレートを表示 爆買い(ばくがい)とは、一度に大量に買うことを表す俗語である[1][2][3]。主に来日した中国人観光客が大量に商品を購買する行為を指し、2014年頃までに定着した[1][4][5]。2015年2月の春節休暇に中国人観光客が日本を訪れ高額商品から日用...

Institution of justice Water Tribunal of the plain of ValenciaThe Tribunal de les Aigües of Valencia in 2006Date(s)ThursdaysBegins10th CEFrequencyWeeklyVenueCasa VestuariLocation(s)Valencia, SpainFoundersAbd-ar-Rahman III,Al-Hakam II Irrigators’ tribunals of the Spanish Mediterranean coast: the Council of Wise Men of the plain of Murcia and the Water Tribunal of the plain of ValenciaUNESCO Intangible Cultural HeritageCountrySpainDomainsKnowledge and practicesReference171RegionEurope and No...

 

هذه المقالة يتيمة إذ تصل إليها مقالات أخرى قليلة جدًا. فضلًا، ساعد بإضافة وصلة إليها في مقالات متعلقة بها. (ديسمبر 2020) الوكالة النرويجية (نيروك)NOREC Norsk senter for utvekslingssamarbeid (بالنرويجية بوكمول) الشعارPresident John F. Kennedy greeting Peace Corps volunteersالتاريخالتأسيس 1963 الإطارالنوع مؤسسة حكومية الوض...

 

PracimantoroKecamatanPeta lokasi Kecamatan PracimantoroNegara IndonesiaProvinsiJawa TengahKabupatenWonogiriPemerintahan • CamatWarsito, S.Ip., M.M.Populasi • Total59,242 (2.003) jiwaKode Kemendagri33.12.01 Kode BPS3312010 Luas142,14 km²Desa/kelurahan18 Pracimantoro (bahasa Jawa: ꦥꦿꦕꦶꦩꦤ꧀ꦠꦫ, translit. pracimantara) adalah sebuah kecamatan di Kabupaten Wonogiri, Provinsi Jawa Tengah, Indonesia. Batas wilayah Batas-batas wilayahnya adalah s...

الرابطة المعدنية توجد في المعادن مثل الزنك. الرابطة الفلزية هي رابطة كيميائية تحصل بين عنصرين من الفلزات، وهي قوى التجاذب الكهربائي الناتجة بين الأيونات الموجبة وهذه الالكترونات السالبة بالرابطة الفلزية وهي التي تربط البلورة الفلزية (المعدنية) بالكامل.[1][2][3]...

 

Questa voce sugli argomenti calciatori colombiani e allenatori di calcio colombiani è solo un abbozzo. Contribuisci a migliorarla secondo le convenzioni di Wikipedia. Segui i suggerimenti del progetto di riferimento. Luis Pompilio Páez CastellanoNazionalità Colombia Altezza170 cm Calcio RuoloAllenatore (ex centrocampista) CarrieraSquadre di club1 1981-1988 Deportivo Pereira336 (12) Carriera da allenatore 2012-2013 Once Caldas2015- MessicoVice2017 Messico Palmarès ...

 

Questa voce sull'argomento ciclisti olandesi è solo un abbozzo. Contribuisci a migliorarla secondo le convenzioni di Wikipedia. Jeanne KorevaarNazionalità Paesi Bassi Altezza178 cm Peso59 kg Ciclismo SpecialitàStrada Squadra Liv Racing CarrieraSquadre di club 2015-2016 Rabo2017 WM32018 WaowDeals2019-2020 CCC-Liv2021- Liv Racing Nazionale 2016- Paesi Bassi Statistiche aggiornate all'11 ottobre 2022 Modifica dati su Wikidata · Manuale Jeanne Kor...

75e cérémonie des British Academy Film Awards British Academy Film Awards Organisée par la British Academy of Film and Television Arts Détails Date 13 mars 2022 Lieu Royal Albert Hall, Londres Royaume-Uni Site web http://www.bafta.org/ Résumé Meilleur film The Power of the Dog Meilleur film britannique Belfast Film le plus nommé Dune (11) Film le plus récompensé Dune (5) Chronologie 74e cérémonie des BAFA 76e cérémonie des BAFA modifier  La 75e cérémonie de...

 

1856 poem This article includes a list of references, related reading, or external links, but its sources remain unclear because it lacks inline citations. Please help improve this article by introducing more precise citations. (June 2024) (Learn how and when to remove this message)Print shows Maud Muller, John Greenleaf Whittier's heroine in the poem of the same name, leaning on her hay rake, gazing into the distance. Behind her, an ox cart, and in the distance, the village Maud Muller is a ...