זיהוי ישויות

זיהוי ישויות (באנגלית: Named-Entity Recognition) הוא תהליך מתחום עיבוד השפה הטבעית, שמטרתו לחלץ שמות של ישויות מתוך טקסט, ולסווגם לקטגוריות. הישויות האמורות הן לרוב אנשים, ארגונים, מיקומים, תאריכים, כמויות, ערכים כספיים, אחוזים ועוד. כך למשל, מתוך המשפט "יוסף רכש 300 מניות של חברת טבע בשנת 2006", התהליך יזהה את המילה "יוסף" כשם של אדם, "טבע" כשם של ארגון, ואת "2006" כשנה.

כיום, קיימות מערכות המבצעות את תהליך ה-NER באמצעות טכניקות למידת מכונה ברמות דיוק גבוהות למדי (מערכות מסוימות הצליחו לזהות שמות ישויות עם ציון F-score של 93.39%, כאשר מעריכים אנושיים קיבלו ציונים של כ-97.30%).[1][2]

פלטפורמות לזיהוי ישויות

פלטפורמות NER בולטות הן:

  • SpaCy - ספריית פייתון פופולרית המאופיינת בביצועים מהירים וכוללת, בנוסף לזיהוי שמות סטטיסטי, אפשרות ויזואליזציה מותאמות במיוחד לNER.
  • GATE - כלי לשימוש בשפת Java.
  • OpenNLP - כולל זיהוי שמות סטטיסטי על בסיס סט של חוקים.

הליך הזיהוי כולל למעשה שתי משימות עיקריות: האחת, זיהוי הישות - מציאת שם של ישות בגוף הטקסט. השנייה, סיווג הישות שזוהתה ושיוכה לקטגוריה מסוימת.[3] במקרים פשוטים, המשימה השנייה אינה מורכבת, ומודל לא יתקשה להסיק ש"מיקרוסופט" הוא שם של חברה. עם זאת, קיימים מקרים קשים יותר, כמו למשל להבין האם "רמי לוי" במקרה נתון, הוא שם תאגיד או שם אדם. לשם כך, המודל נדרש להיעזר בקונטקסט, וכפי שאדם יבין שבמשפט "רמי לוי הונפקה בבורסה לניירות ערך" מדובר בתאגיד ולא באדם, כך גם יזהה זאת המודל. בעיות נוספות נובעות כאשר שם של ישות אחת כולל בתוכו שם של ישויות אחרות, למשל "אפריקה ישראל להשקעות".

יצוין, כי נהוג לכלול בתהליך זיהוי שם הישות גם ישויות כמו תאריך או מספר. עם זאת, מודל NER יזהה את "חודש יוני" כתאריך במשפט "אני נוהג לטייל בחודש יוני", על אף שאין בהכרח מדובר בחודש יוני ספציפי.[4]

הערכת ביצועים

הערכת איכות התפוקה של מערכת NER, נמדדת בעיקר באמצעות המדדים Recall, Percision וציון F1, הממוצע ההרמוני של האחרונים. ציונים אלו לוקחים בחשבון את כמות זיהוי חיובי-כוזב, חיובי-אמת, שלילי-כוזב ושלילי-אמת (המוצגים לרוב במטריצת בלבול). עם זאת, קיים קושי בהערכה זו שכן לעיתים מודל NER יכול לסווג ישות באופן נכון חלקית. למשל:

  • זיהוי רק חלק משם הישות, למשל זיהוי "כהן" מתוך "דוקטור כהן".
  • זיהוי חלקים מיותרים, למשל זיהוי "של האוניברסיטה העברית", על אף שהמילה "של" אינה חלק משם הישות.
  • חלוקה שגויה של ישויות סמוכות, למשל, התייחסות ל"סמית', ג'ונס רובינסון" כאל שתי ישויות על אף שמדובר בשלוש.
  • שגיאה רק בזיהוי הקטגוריה הנכונה (למשל, זיהוי השם של חברת "פורד" כשמו של אדם).
  • סיווג דומה אך לא מדויק (לדוגמה, "חומר" לעומת "סם", או "בית ספר" לעומת "ארגון").

תחומים בעייתיים

השימושים המוקדמים במערכות NER החלו בשנות ה-90 והתמקדו בחילוץ שמות ישות בעיקר ממאמרים עיתונאיים ומסמכים צבאיים. מאוחר יותר, התרחב התחום לחילוץ מתוך סוגים שונים של טקסט לא פורמלי, כמו בלוגים או תמלולי טקסט משיחות טלפון. מאז סוף שנות ה-90, קיים עניין רב ב-NER בתחומי ביולוגיה מולקולרית, ביואינפורמטיקה ועיבוד שפה טבעית רפואית. ה"ישויות" אותן התבקש המודל לחלץ בתחומים אלו, היו בעיקר שמות של גנים, תרופות וישויות כימיות.[5]

כיום, אתגרים מרכזיים בפיתוח הענף הם בניית מודלים להתמודדות עם הקשרים מורכבים מבחינה לשונית, כמו טוויטר ושאילתות חיפוש (אשר פעמים רבות אינן נכתבות כמו משפט תקני לשונית).[6] מאמצים נוספים נוגעים להפחתת התלות במאמן אנושי כדי להביא את המודל לתוצאות טובות.[7]

ראו גם

הערות שוליים

  1. ^ Elaine Marsh, Dennis Perzanowski, "MUC-7 Evaluation of IE Technology: Overview of Results", 29 April 1998 PDF
  2. ^ MUC-07 Proceedings (Named Entity Tasks)
  3. ^ Tjong Kim Sang, Erik F.; De Meulder, Fien (2003). Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. CoNLL.
  4. ^ Named Entity Definition. Webknox.com. Retrieved on 2013-07-21.
  5. ^ Krallinger, M; Leitner, F; Rabal, O; Vazquez, M; Oyarzabal, J; Valencia, A (2013). "Overview of the chemical compound and drug name recognition (CHEMDNER) task". Proceedings of the Fourth BioCreative Challenge Evaluation Workshop vol. 2. pp. 6–37. CiteSeerX 10.1.1.684.4118.
  6. ^ Eiselt, Andreas; Figueroa, Alejandro (2013). A Two-Step Named Entity Recognizer for Open-Domain Search Queries. IJCNLP. pp. 829–833.
  7. ^ Sekine's Extended Named Entity Hierarchy. Nlp.cs.nyu.edu. Retrieved on 2013-07-21.


בינה מלאכותית
כללי מבחן טיורינג • היסטוריה של הבינה המלאכותית • ציר הזמן של בינה מלאכותית • התקדמות הבינה המלאכותית • אוריינות AI • סוכן תבוני • AI-שלמות מערכת מומחה • אסדרת בינה מלאכותית (בישראל) • בינה מלאכותית צרה • בינה חישובית • הסברתיות בינה מלאכותית • הפרדוקס של מורבק • סוכן תבוני • אתיקה של בינה מלאכותית
תחומים עיבוד שפה טבעית • ראייה ממוחשבת • בינה מלאכותית יוצרת • אומנות בינה מלאכותית • בינה מלאכותית כללית (AGI)
סוגי למידת מכונה מערכת לומדת • למידה מונחית • למידה בלתי מונחית • למידה עמוקה • למידת חיזוק • סיווג בייסיאני נאיבי • רשת בייסיאנית
אלגוריתמי למידת מכונה קלאסית פרספטרון • עץ החלטה • מכונת וקטורים תומכים • Bag of words • אלגוריתם k-מרכזים • אלגוריתם מיקסום התוחלת • הורדת ממד • אלגוריתם שכן קרוב • יער אקראי • Q-learning •‏ T-SNE •‏ Tf–idf • חיזוק גרדיאנט
למידה עמוקה רשת עצבית מלאכותית • רשת זרימה קדימה • רשת עצבית רקורסיבית • פונקציית אקטיבציה • טרנספורמר • Attention •‏ GAN
עיבוד שפה טבעית מודל שפה • שיכון מילים (אנ') • בלשנות חישובית • תרגום מכונה • חילוץ מידע (אנ') • ניתוח סנטימנט • זיהוי חלקי דיבר (אנ') • מערכת זיהוי דיבור • זיהוי ישויות • כריית טקסט • תיוג תפקידים סמנטי • Word2vec • מודל שפה גדול • GPT •‏ BERT (אנ') • מודל Bag-of-words (אנ') • יצירת טקסט בשפה טבעית (אנ') • מילת עצירה • ניתוח מחרוזות • Stemming (אנ') • למטיזציה (אנ')
יישומים לבינה מלאכותית (אנ') צ'אטבוט • זיהוי דובר • זיהוי עצמים • זיהוי תבניות • עוזר וירטואלי • זיהוי תווים אופטי • מחולל תמונות • הזיות
מערכות בינה מלאכותית אלייזה • ChatGPT •‏ DALL-E •‏ Midjourney •‏ Gemini • קלוד •‏ Perplexity •‏ SearchGPT •‏ GitHub Copilot • דיפ־פייק • סירי • Google Assistant • אמזון אלכסה • מיקרוסופט קופיילוט
סוגיות בטיחות בינה מלאכותית (אנ') סכנה קיומית מבינה מלאכותית כללית • בינה מלאכותית חזקה • יישור בינה מלאכותית (אנ') • בקרת יכולות בינה מלאכותית (אנ') • בינה מלאכותית ידידותית (אנ') • התכנסות אינסטרומנטלית (אנ') • סינגולריות טכנולוגית • השתלטות הבינה המלאכותית • המכתב הפתוח על בינה מלאכותית (2015)
ספריות בשימוש נרחב TensorFlow •‏ PyTorch •‏ Torch •‏ Hugging Face •‏ Keras •‏ spaCy (אנ') •‏ Caffe
לקטגוריית הבינה המלאכותית

Read other articles:

Kazuyoshi Miura

Kazuyoshi Miura Informasi pribadiNama lengkap Kazuyoshi MiuraTanggal lahir 26 Februari 1967 (umur 57)Tempat lahir Prefektur Shizuoka, JepangPosisi bermain PenyerangInformasi klubKlub saat ini Yokohama FCNomor 11Karier senior*Tahun Tim Tampil (Gol)1982 Juventus 1982-1985 Santos 2 (0)1986 Matsubara 5 (1)1987 Brasil 4 (0)1987-1988 XV Novembro-Jaú 25 (2)1989 Coritiba 21 (2)1990 Santos 11 (3)1990-1998 Verdy Kawasaki 192 (117)1994-1995 →Genoa 21 (1)1999 Croatia Zagreb 12 (0)1999-2000 Kyoto...

 

 

Dampak lingkungan mata uang kripto

Artikel ini tidak memiliki referensi atau sumber tepercaya sehingga isinya tidak bisa dipastikan. Tolong bantu perbaiki artikel ini dengan menambahkan referensi yang layak. Tulisan tanpa sumber dapat dipertanyakan dan dihapus sewaktu-waktu.Cari sumber: Dampak lingkungan mata uang kripto – berita · surat kabar · buku · cendekiawan · JSTOR Dampak lingkungan mata uang kripto adalah adanya perdebatan dan kritik mengenai besarnya energi listrik yang diperlu...

 

 

Euro step

Basketball move This article is about the basketball move. For the European NGO network, see Eurostep. The Euro step, two-step, or long lateral is a basketball move in which an offensive player picks up their dribble, takes a step in one direction, and then quickly takes a second step in another direction. It is intended to allow the offensive player to evade a defender and attack the basket. Background According to Wall Street Journal writer Ben Cohen, the Euro step is a crafty and exotic mo...

Setsuna F. Seiei

Artikel ini tidak memiliki referensi atau sumber tepercaya sehingga isinya tidak bisa dipastikan. Tolong bantu perbaiki artikel ini dengan menambahkan referensi yang layak. Tulisan tanpa sumber dapat dipertanyakan dan dihapus sewaktu-waktu.Cari sumber: Setsuna F. Seiei – berita · surat kabar · buku · cendekiawan · JSTOR Setsuna F SeieiTokoh Mobile Suit Gundam 00Setsuna Fanron SeieiPenampilanperdanaEpisode 1, Celestial BeingPengisi suaraMamoru Miyano Yu...

 

 

Slowakia

Untuk kegunaan lain, lihat Slowakia (disambiguasi). Republik SlowakiaSlovenská republika (Slowakia) Bendera Lambang Semboyan: —Lagu kebangsaan:  Nad Tatrou sa blýska (Indonesia: Halilintar Di Atas Tatra) Perlihatkan BumiPerlihatkan peta EropaPerlihatkan peta BenderaLokasi  Slowakia  (hijau gelap)– di Eropa  (hijau & abu-abu)– di Uni Eropa  (hijau)Ibu kota(dan kota terbesar)Bratislava48°9′N 17°7′E / 4...

 

 

Ma Kai

Ma Kai马凯 Wakil Perdana Menteri Republik Rakyat TiongkokPetahanaMulai menjabat 16 March 2013Menjabat bersama Zhang Gaoli, Liu Yandong, Wang YangPerdana MenteriLi KeqiangPendahuluWang QishanPenggantiPetahanaKanselir Negara Republik Rakyat TiongkokMasa jabatanMaret 2008 – Maret 2013Perdana MenteriWen JiabaoKetua Komisi Pengembangan dan Reformasi Nasional ke-10Masa jabatanMaret 2003 – Maret 2008Perdana MenteriWen JiabaoPendahuluZeng PeiyanPenggantiZhang P...

Generali Ladies Linz 2008

Generali Ladies Linz 2008 Sport Tennis Data 20 ottobre – 26 ottobre Edizione 22ª Superficie Cemento indoor Campioni Singolare Ana Ivanović Doppio Katarina Srebotnik / Ai Sugiyama 2007 2009 Il Generali Ladies Linz 2008 è stato un torneo di tennis giocato sul cemento indoor. È stata la 22ª edizione del Generali Ladies Linz, che fa parte della categoria Tier II nell'ambito del WTA Tour 2008. Si è giocato a Linz, in Austria,dal 20 ottobre al 26 ottobre 2008. Indice 1 Campionesse 1.1 Sing...

 

 

David Bernhardt

For the Swedish ice hockey player, see David Bernhardt (ice hockey). American lawyer (born 1969) David BernhardtBernhardt in 201953rd United States Secretary of the InteriorIn officeJanuary 2, 2019 – January 20, 2021Acting: January 2 – April 11, 2019PresidentDonald TrumpDeputyKatharine MacGregorPreceded byRyan ZinkeSucceeded byDeb Haaland7th United States Deputy Secretary of the InteriorIn officeAugust 1, 2017 – April 11, 2019PresidentDonald TrumpPreceded byMichael L....

 

 

История христианства в Центральной Азии

ХристианствоБиблия Ветхий Завет Новый Завет Евангелие Десять заповедей Нагорная проповедь Апокрифы Бог, Троица Бог Отец Иисус Христос Святой Дух История христианства Апостолы Хронология христианства Раннее христианство Гностическое христианство Вселенские соборы Н...

List of Los Angeles Dodgers in the Baseball Hall of Fame

The Los Angeles Dodgers are a Major League Baseball team based in Los Angeles. The team is in the Western Division of the National League. Established in 1883, the team originated in Brooklyn, where it was known as the Brooklyn Dodgers, before moving to Los Angeles for the 1958 season. A total of 56 players, managers, and executives in the National Baseball Hall of Fame and Museum, plus four broadcasters who have received the Hall's Ford C. Frick Award, spent some or part of their profession...

 

 

Thanjavur

Si ce bandeau n'est plus pertinent, retirez-le. Cliquez ici pour en savoir plus. Cet article ne cite pas suffisamment ses sources (janvier 2016). Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section « Notes et références ». En pratique : Quelles sources sont attendues ? C...

 

 

Sakura, Chiba

Sakura 佐倉市Kota Kompleks apartemen Yukarigaoka SMA SakuraAlun-alun Sakura Furusato Kastel Sakura Kediaman Hotta Museum Nasional Sejarah Jepang BenderaLambangLokasi Sakura di Prefektur ChibaSakura Koordinat: 35°43′N 140°13′E / 35.717°N 140.217°E / 35.717; 140.217Koordinat: 35°43′N 140°13′E / 35.717°N 140.217°E / 35.717; 140.217NegaraJepangRegionKantōPrefekturChibaPemerintahan • Wali kotaSango NishidaLuas...

Carl Jeppesen

Danish-born Norwegian worker, newspaper editor and politician Carl JeppesenBorn(1858-03-16)16 March 1858Copenhagen, DenmarkDied26 January 1930(1930-01-26) (aged 71)Oslo, NorwayNationalityNorwegianOccupation(s)Brushmaker, newspaper editor and politician Jeppesen in 1908 with a copy of Social-Demokraten Carl Jeppesen (16 March 1858 – 26 January 1930) was a Danish-born Norwegian worker, newspaper editor and politician. He edited the newspaper Social-Demokraten from 1887 to 1892, and f...

 

 

Joachim Beuckelaer

Flemish painter and draftsman (c. 1533-c. 1570/4) Joachim BeuckelaerPortrait of Joachim BeuckelaerBornc. 1533AntwerpDiedc. 1570/4 (aged 37-41)NationalityFlemish Joachim Beuckelaer (c. 1533 – c. 1570/4) was a Flemish painter specialising in market and kitchen scenes with elaborate displays of food and household equipment.[1] His development of the genre of market and kitchen scenes was influential on the development of still life art in Northern Europe as well as Italy and Spain.[...

 

 

Anugerah Musik Indonesia 2003

Anugerah Musik Indonesia 2003Tanggal3 Oktober 2003LokasiJakarta Convention Center, Jakarta PusatNegaraIndonesiaIkhtisarPenghargaan terbanyakAudy Item (4)Karya Produksi Terbaik-TerbaikMenangis Semalam – Audy ItemAlbum Terbaik-TerbaikSave My Soul – PadiPendatang Baru Terbaik-TerbaikSuperman Is DeadLegend AwardIwan FalsLifetime Achievement AwardA.T. MahmudSitus webami-awards.comSiaran televisi/radioSaluranRCTI dan SCTVWaktu tayang180 menitProduserYayasan Anugerah Musik Indonesia← 2002 ...

Пеликаны

Запрос «Пеликан» перенаправляется сюда; см. также другие значения. Пеликаны Австралийский пеликанКудрявый пеликанАмериканский бурый пеликанАмериканский белый пеликан Научная классификация Домен:ЭукариотыЦарство:ЖивотныеПодцарство:ЭуметазоиБез ранга:Двусторонн�...

 

 

Gordon Pirie

English long-distance runner Gordon PiriePirie in 1956Personal informationFull nameDouglas Alistair Gordon PirieBorn10 February 1931Leeds, England[1]Died7 December 1991 (aged 60)Lymington, England[1]Height1.88 m (6 ft 2 in)Weight65 kg (143 lb)SportSportRunningClubSouth London HarriersAchievements and titlesPersonal best(s)5000 m – 13:36.8 (1956)10000 m – 29:15.49 (1960)[1] Medal record Men's athletics Representing  Great Britain O...

 

 

Buck–boost converter

Type of DC-to-DC converter This article is about the type of switched-mode power supply. For the autotransformer, see buck–boost transformer. Comparison of non-isolated switching DC-to-DC converter topologies: Buck, Boost, Buck-Boost, Ćuk. The input is left side, the output with load is right side. The switch is typically a MOSFET, IGBT, or BJT. The buck–boost converter is a type of DC-to-DC converter that has an output voltage magnitude that is either greater than or less than the i...

Danh sách thành phố Israel

Đây là danh sách thành phố các Israel, xếp theo quận Jerusalem Haifa Rishon LeZion Ashdod Beersheba Petah Tikva Netanya Bnei Brak (in the foreground) Bat Yam Ramat Gan Ashkelon Tên thông dụng Quận Diện tích (km²)[1] Hebrew Dân số (2009)[2][n] Thị trưởng Acre[a] Bắc 13,533 עכו 46.300 Shimon Lancry Afula Bắc 26,909 עפולה 40.500 Avi Elkabetz Arad Nam 93,140 ערד 23.400 Gideon Bar-Lev Ariel[b] Judea và Samaria ...

 

 

分類械鬥

此條目已列出參考文獻，但因為沒有文內引註而使來源仍然不明。 (2014年5月28日)请加上合适的文內引註来改善这篇条目。此條目没有列出任何参考或来源。 (2014年5月28日)維基百科所有的內容都應該可供查證。请协助補充可靠来源以改善这篇条目。无法查证的內容可能會因為異議提出而被移除。 分類械鬥，是指自我認知不同族群間的武裝衝突。「分類」的意思除了意指這種�...