PROFILPELAJAR.COM

Terjemahan mesin saraf (NMT) adalah pendekatan penerjemahan mesin yang menggunakan jaringan saraf tiruan untuk memprediksi kemungkinan urutan kata, biasanya memodelkan dan kemudian menerjemahkan seluruh kalimat dalam satu model yang terintegrasi.

Properti

Sistem NMT hanya membutuhkan sebagian kecil dari memori yang dibutuhkan oleh model terjemahan mesin statistik (SMT) tradisional. Selain itu, tidak seperti sistem penerjemahan konvensional, semua bagian dari model penerjemahan neural dilatih secara bersama-sama (end-to-end) untuk memaksimalkan kinerja penerjemahan.^[1]^[2]^[3]

Sejarah

Makalah ilmiah pertama tentang penggunaan jaringan saraf dalam penerjemahan mesin muncul pada tahun 2014 ketika Bahdanau et al.^{[R 1]} and Sutskever et al.^{[R 2]} mengusulkan model penerjemahan jaringan saraf tiruan ujung ke ujung dan secara resmi menggunakan frasa "penerjemahan mesin saraf" dalam penelitian mereka. Sistem NMT berskala besar pertama diluncurkan oleh Baidu pada tahun 2015. Tahun berikutnya Google dan organisasi lain meluncurkan berbagai sistem NMT.^[4] Sistem ini diikuti oleh kemajuan substansial pada tahun-tahun berikutnya. Kemajuan ini meliputi: NMT kosakata besar, aplikasi untuk teks gambar, NMT subkata, NMT multibahasa, NMT multisumber, NMT tingkat karakter, NMT tanpa sumber daya, dan NMT tanpa pemotretan. Pada tahun 2015, untuk pertama kalinya sistem NMT tampil dalam dua kompetisi penerjemahan mesin publik (OpenMT'15 dan WMT'15). Tahun berikutnya, 90% pemenang di WMT adalah sistem NMT.^[5]

Sejak 2017, Kantor Paten Eropa telah menggunakan terjemahan mesin saraf untuk membuat informasi dari sistem paten global dapat diakses secara instan.^[6] Sistem yang dikembangkan bekerja sama dengan Google ini dipasangkan dengan 31 bahasa, dan pada tahun 2018, sistem ini telah menerjemahkan lebih dari sembilan juta dokumen.^[6]

Cara kerja

Sistem NMT menggunakan pembelajaran mendalam dan pembelajaran representasi dan berangkat dari pendekatan terjemahan mesin statistik berbasis frasa yang menggunakan subkomponen yang direkayasa secara terpisah dengan mempertimbangkan keseluruhan kalimat.^[7] Penerjemahan mesin saraf (NMT) mirip dengan apa yang telah dilakukan secara tradisional dalam penerjemahan mesin statistik (SMT). Perbedaan utama antara NMT dan SMT adalah penggunaan representasi vektor ("penyematan" dan "representasi ruang lanjutan") untuk kata dan status internal. Struktur model dalam sistem NMT lebih sederhana daripada model berbasis frasa. Tidak ada model bahasa, model terjemahan, dan model pengurutan ulang yang terpisah, tetapi hanya satu model urutan yang memprediksi satu kata dalam satu waktu. Namun, prediksi urutan ini dikondisikan pada seluruh kalimat sumber dan urutan target yang sudah diproduksi.

Pemodelan urutan kata dalam sistem NMT, pada awalnya, biasanya dilakukan dengan menggunakan jaringan syaraf tiruan berulang (RNN). Sebuah jaringan saraf tiruan dua arah, yang dikenal sebagai encoder, digunakan oleh jaringan saraf untuk mengkodekan kalimat sumber untuk RNN kedua, yang dikenal sebagai decoder, yang digunakan untuk memprediksi kata-kata dalam bahasa target (terjemahan).^[8] RNN kesulitan untuk mengkodekan input yang panjang ke dalam satu vektor. Hal ini dapat diatasi dengan menggunakan mekanisme perhatian^[9] yang memungkinkan decoder untuk fokus pada bagian input yang berbeda saat menghasilkan setiap kata. Model Cakupan lebih lanjut menangani masalah dalam mekanisme perhatian ini, seperti mengabaikan informasi penyelarasan sebelumnya yang menyebabkan terjemahan berlebih dan terjemahan kurang.^[10]

Convolutional Neural Networks (CNN), pada prinsipnya, agak lebih baik untuk sekuens yang panjang dan berkesinambungan, tetapi pada awalnya tidak digunakan karena beberapa kelemahan, tetapi banyak di antaranya telah diatasi dengan pengembangan "mekanisme perhatian".^[11]

Sistem Transformer^[12], yang merupakan model berbasis perhatian, tetap menjadi arsitektur yang dominan untuk beberapa pasangan bahasa.^[13] Lapisan perhatian diri dari model Transformer mempelajari ketergantungan antara kata-kata dalam sebuah urutan dengan memeriksa hubungan antara semua kata dalam urutan berpasangan dan dengan secara langsung memodelkan hubungan tersebut. Ini adalah pendekatan yang lebih sederhana daripada mekanisme gating yang digunakan RNN. Dan kesederhanaannya telah memungkinkan para peneliti untuk mengembangkan model penerjemahan berkualitas tinggi dengan model Transformer, bahkan dalam pengaturan sumber daya yang rendah.^[14]

Penerapan

Salah satu aplikasi untuk NMT adalah terjemahan mesin dengan sumber daya rendah, ketika hanya sedikit data dan contoh yang tersedia untuk pelatihan. Salah satu kasus penggunaan tersebut adalah bahasa-bahasa kuno seperti Akkadia dan dialek-dialeknya, Babilonia dan Asyur.^[15]

Catatan

^ Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate. In: Proceedings of the 3rd International Conference on Learning Representations; 2015 May 7–9; San Diego, USA; 2015.
^ Sutskever I, Vinyals O, Le QV. Sequence to sequence learning with neural networks. In: Proceedings of the 27th International Conference on Neural Information Processing Systems; 2014 Dec 8–13; Montreal, QC, Canada; 2014.

Referensi

^ Kesalahan pengutipan: Tag <ref> tidak sah; tidak ditemukan teks untuk ref bernama KalchbrennerBlunsom
^ Kesalahan pengutipan: Tag <ref> tidak sah; tidak ditemukan teks untuk ref bernama sequence
^ Kesalahan pengutipan: Tag <ref> tidak sah; tidak ditemukan teks untuk ref bernama Properties
^ Haifeng Wang, Hua Wu, Zhongjun He, Liang Huang, Kenneth Ward Church Progress in Machine Translation // Engineering (2021), doi: https://doi.org/10.1016/j.eng.2021.03.023
^ Kesalahan pengutipan: Tag <ref> tidak sah; tidak ditemukan teks untuk ref bernama WMT16
^ ^a ^b Kesalahan pengutipan: Tag <ref> tidak sah; tidak ditemukan teks untuk ref bernama vid
^ Kesalahan pengutipan: Tag <ref> tidak sah; tidak ditemukan teks untuk ref bernama Medical
^ Kesalahan pengutipan: Tag <ref> tidak sah; tidak ditemukan teks untuk ref bernama align&translate
^ Kesalahan pengutipan: Tag <ref> tidak sah; tidak ditemukan teks untuk ref bernama attention
^ Tu, Zhaopeng; Lu, Zhengdong; Liu, Yang; Liu, Xiaohua; Li, Hang (2016). "Modeling Coverage for Neural Machine Translation". arΧiv:1601.04811 [cs.CL].
^ Kesalahan pengutipan: Tag <ref> tidak sah; tidak ditemukan teks untuk ref bernama DeepL
^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (2017-12-05). "Attention Is All You Need". arΧiv:1706.03762 [cs.CL]. ,
^ Barrault, Loïc; Bojar, Ondřej; Costa-jussà, Marta R.; Federmann, Christian; Fishel, Mark; Graham, Yvette; Haddow, Barry; Huck, Matthias; Koehn, Philipp; Malmasi, Shervin; Monz, Christof (August 2019). "Findings of the 2019 Conference on Machine Translation (WMT19)". Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1). Florence, Italy: Association for Computational Linguistics: 1–61. doi:10.18653/v1/W19-5301 .
^ Wdowiak, Eryk (2021-09-27). "Sicilian Translator: A Recipe for Low-Resource NMT". arΧiv:2110.01938 [cs.CL].
^ Gutherz, Gai; Gordin, Shai; Sáenz, Luis; Levy, Omer; Berant, Jonathan (2023-05-02). Kearns, Michael, ed. "Translating Akkadian to English with neural machine translation". PNAS Nexus (dalam bahasa Inggris). 2 (5). doi:10.1093/pnasnexus/pgad096. ISSN 2752-6542. PMC 10153418  Periksa nilai |pmc= (bantuan). PMID 37143863 Periksa nilai |pmid= (bantuan).