Дедупликация

Дедупликация (также дедубликация; от лат. deduplicatio — устранение дубликатов) — специализированный метод сжатия массива данных, использующий в качестве алгоритма сжатия исключение дублирующих копий повторяющихся данных. Данный метод обычно используется для оптимизации использования пространства систем хранения данных, однако может применяться и при сетевом обмене данных для сокращения объёма передаваемой информации.

В процессе дедупликации во время анализа идентифицируются и запоминаются уникальные фрагменты информации (англ. chunks). По мере выполнения анализа сравниваются все новые и старые фрагменты. При выявлении дублирующегося фрагмента, он заменяется ссылкой на уникальное вхождение (или на него перенаправляется уже существующая ссылка), а пространство, занимаемое дубликатом, высвобождается. Таких повторяющихся фрагментов может попадаться очень много, благодаря чему объём, необходимый для сохранения массива данных, может быть сильно сокращён.

В отличие от применения традиционных алгоритмов сжатия, например LZ77 или LZO, позволяющих провести поиск дубликатов в пределах определённого буфера отдельного файла (так называемое «скользящее окно»), алгоритмы дедупликации позволяют осуществлять поиск копий по большому массиву данных, в отдельных случаях — по всему пространству хранения (глобальная дедупликация).

Области применения

Дедупликация способна сократить объём необходимого пространства для определённого набора файлов. Она наиболее эффективна в тех случаях, когда хранимые файлы мало отличимы или имеют много сходных элементов, например в случае резервных копий, где большинство данных остаётся неизменными с момента прошлой резервной копии. Системы резервного копирования могут использовать эту особенность, используя жёсткие ссылки на повторяющиеся файлы или копируя только изменённые файлы. Однако эти подходы могут оказаться мало полезными, если у большого блока данных (например, базы данных или архива почтовых сообщений) изменился только небольшой участок данных.

В передаче данных дедупликация может использоваться для сокращения передаваемой информации, что позволяет сэкономить на ширине необходимой пропускной способности канала передачи данных.

Также дедупликация находит широкое применение в системах виртуализации, где дедупликация позволяет условно выделить повторяющиеся фрагменты данных каждой из виртуальных систем в отдельное пространство.

Ссылки

Read other articles:

Daylight

DaylightSingel oleh Maroon 5dari album OverexposedDirilis27 November 2012 (2012-11-27)[1]FormatDigital downloadDirekamConway Studios, (Los Angeles, California)GenreSoft rockDurasi3:46LabelA&M/OctonePenciptaAdam Levine, Max Martin, Sam Martin and Mason LevyProduserLevine, MdL & Max Martin Daylight adalah lagu yang dinyanyikan oleh band asal Amerika Serikat Maroon 5 dari album keempat mereka, Overexposed. Lagu ini adalah single ketiga dari album, singel ini dirilis secara i...

 

العلاقات الدومينيكية الفيتنامية

العلاقات الدومينيكية الفيتنامية دومينيكا فيتنام   دومينيكا   فيتنام تعديل مصدري - تعديل   العلاقات الدومينيكية الفيتنامية هي العلاقات الثنائية التي تجمع بين دومينيكا وفيتنام.[1][2][3][4][5] مقارنة بين البلدين هذه مقارنة عامة ومرجعية للدولتين:...

 

Trial

Coming together of parties to a dispute, to present information in a tribunal For other uses, see Trial (disambiguation). This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Trial – news · newspapers · books · scholar · JSTOR (May 2015) (Learn how and when to remove this template message) Criminal procedure Crim...

Islam di Bangladesh

Islam menurut negara Afrika Aljazair Angola Benin Botswana Burkina Faso Burundi Kamerun Tanjung Verde Republik Afrika Tengah Chad Komoro Republik Demokratik Kongo Republik Kongo Djibouti Mesir Guinea Khatulistiwa Eritrea Eswatini Etiopia Gabon Gambia Ghana Guinea Guinea-Bissau Pantai Gading Kenya Lesotho Liberia Libya Madagaskar Malawi Mali Mauritania Mauritius Maroko Mozambik Namibia Niger Nigeria Rwanda Sao Tome dan Principe Senegal Seychelles Sierra Leone Somalia Somaliland Afrika Selatan ...

 

In Another Country (film)

In Another CountryTheatrical posterNama lainHangul다른 나라에서 Alih Aksara yang DisempurnakanDareun NaraeseoMcCune–ReischauerTarŭn Naraesŏ SutradaraHong Sang-sooProduserKim Kyeong-heeHong Sang-sooDitulis olehHong Sang-sooPemeranIsabelle HuppertYoo Jun-sangPenata musikJeong Yong-jinSinematograferPark Hong-yeolJi Yoon-jeongPenyuntingHahm Sung-wonPerusahaanproduksiJeonwonsa FilmsDistributorJeonwonsa FilmsJoseE FilmsTanggal rilis 21 Mei 2012 (2012-05-21) (Cannes) 3...

 

Bendera Trinidad dan Tobago

Bendera nasional (digunakan sebagai bendera negara dan militer). Rasio bendera: 3:5 Bendera sipil dan negara. Rasio bendera: 1:2 Bendera laut. Rasio bendera: 1:2 Bendera Trinidad dan Tobago disetujui setelah kemerdekaan tahun 1962. Merah berarti 'kemurahan hati rakyatnya dan sinar matahari', putih untuk 'kemurnian dan laut' dan hitam untuk 'kekerasan hati dan perjuangan persatuan'. Di blazon, bendera ini Gules, a bend Sable fimbriated Argent. Bendera sipil adalah bendera nasional dalam rasio...

Daftar Wakil Bupati Takalar

Wakil Bupati TakalarPetahanaLowongsejak 22 Desember 2022KediamanRumah Jabatan Wakil BupatiMasa jabatan5 tahunDibentuk1997Pejabat pertamaM. Said Pammusu Berikut ini adalah daftar wakil bupati Takalar yang menjabat sejak pembentukannya pada tahun 1997. No Potret Wakil Bupati Mulai menjabat Akhir menjabat Partai Bupati Periode Ref. 1 M. Said Pammusu 1997 2002 Zainal Abidin 8 2 A. Makmur A. Sadda 2002 2007 Ibrahim Rewa 9 2007 2012 10 3 M. Natsir Ibrahim 22 Desember 2012 22 Desember 2017 Burh...

 

Beyond the Sunset: The Romantic Collection

2004 compilation album by Blackmore's NightBeyond the SunsetCompilation album by Blackmore's NightReleased2004Genrefolk rock, neo-MedievalLength58:41LabelSteamhammerProducerRitchie BlackmoreBlackmore's Night chronology Ghost of a Rose(2003) Beyond the Sunset(2004) Castles and Dreams(2005) Professional ratingsReview scoresSourceRatingAllMusic [1]Metal Storm(favorable) [2] Beyond the Sunset is a Blackmore's Night compilation album released in 2004 through Steamhammer. I...

 

Franca Raimondi

Cet article est une ébauche concernant une chanteuse italienne. Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants. Franca RaimondiBiographieNaissance 8 juillet 1932MonopoliDécès 28 août 1988 (à 56 ans)MonopoliNationalité italienneActivité ChanteusePériode d'activité à partir de 1953Autres informationsGenre artistique PopDistinction Festival de Sanremomodifier - modifier le code - modifier Wikidata Fr...

Kenny Bee

Hong Kong singer and actor This article needs to be updated. Please help update this article to reflect recent events or newly available information. (November 2012) Kenny BeeBornChung Chun-to (1953-02-23) 23 February 1953 (age 71)Hong KongOccupationsMusiciansingersongwriteractorYears active1973–presentSpouses Teresa Cheung ​ ​(m. 1988; div. 1999)​ Fan-jiang Su-zhen ​(m. 2014)​ Children4Chinese nameTradit...

 

John Daggett

American politician For the mayor of St. Louis, Missouri, see John D. Daggett. This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: John Daggett – news · newspapers · books · scholar · JSTOR (September 2014) (Learn how and when to remove this message) John DaggettThe San Francisco Call, June 15, 189616th Lieutena...

 

Visa policy of Syria

Policy on permits required to enter Syria Syrian visa in 2010 Visitors to Syria must obtain a visa from one of the Syrian diplomatic missions in advance, unless they are a national of a visa-exempt country or a country whose citizens are eligible to obtain visas on arrival or e-Visas online. History Before the start of protests, hostilities and conflicts and the start of the devastating Civil war in Syria in 2011, citizens of many Asian, European, African and American countries could visit Sy...

Fishfinder

Electronic device used in water This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Fishfinder – news · newspapers · books · scholar · JSTOR (November 2011) (Learn how and when to remove this message) Fathometer sonar A fishfinder or sounder (Australia) is an instrument used to locate fish underwater by detectin...

 

Isabelle Aubret

Isabelle AubretIsabelle AubretInformasi latar belakangLahir27 Juli 1938 (umur 85)Lille, PrancisAsalLille, PrancisPekerjaanPenyanyiTahun aktif1952––sekarang Isabelle Aubret (lahir 27 Juli 1938)[1] adalah seorang penyanyi asal Prancis. Lahir dengan nama Thérèse Coquerelle di Lille, Prancis, ia memenangkan Kontes Lagu Eurovision 1962 mewakili Prancis dengan lagu Un premier amour.[1][2] Referensi ^ a b Isabelle Aubret Biography, RFI Musique. Retrieved 17 August ...

 

Sunsundegui

Spanish manufacturer of buses and coaches SunsundeguiA 2018 Sunsundegui SC5Company typeSociedade Anónima (S.A.)IndustryCommercial vehiclesFounded1944HeadquartersAlsasua, SpainKey peopleJosé Ignacio Murillo (MD)ProductsBuses and coachesRevenue€16 million (2022)Number of employees250 (2022)Websitewww.sunsundegui.com/en/ Sunsundegui is a bus and coach manufacturer based in Alsasua, Spain. History A 2005 Sunsundegui Sideral touring coach on Volvo B12B chassis seen in Sheffield The c...

Boxing at the 1948 Summer Olympics – Flyweight

Boxing competitions Men's Flyweightat the Games of the XIV OlympiadDatesAugust 7–12Competitors26 from 26 nationsMedalists Pascual Pérez  Argentina Spartaco Bandinelli  Italy Han Soo-ann  South Korea← 19361952 → Boxing at the1948 Summer OlympicsFlyweightmenBantamweightmenFeatherweightmenLightweightmenWelterweightmenMiddleweightmenLight heavyweightmenHeavyweightmenvte The men's flyweight event was part of the boxing programme at the 1948 Su...

 

Tangier disease

This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Tangier disease – news · newspapers · books · scholar · JSTOR (December 2020) (Learn how and when to remove this message) Medical conditionTangier diseaseOther namesFamilial alpha-lipoprotein deficiency[1]: 535 SpecialtyEndocrinology...

 

Glycerophosphorylcholine

Chemical compound GlycerophosphorylcholineClinical dataATC codeN07AX02 (WHO) Legal statusLegal status In general: Over-the-counter (OTC) Identifiers IUPAC name [(2R)-2,3-Dihydroxypropyl] 2-trimethylazaniumylethyl phosphate CAS Number28319-77-9 NPubChem CID657272ChemSpider571409 YUNII60M22SGW66ChEBICHEBI:55397 YChEMBLChEMBL1567463 NCompTox Dashboard (EPA)DTXSID70951010 ECHA InfoCard100.044.496 Chemical and physical dataFormulaC8H20NO6PMolar mass257.223 g...

Acta Eruditorum

Acta EruditorumLogoStatoDEU Lingualatino Periodicitàmensile Genererivista scientifica e letteraria Formatovolume FondatoreOtto Mencke e Gottfried Leibniz Fondazione1682 Chiusura1782 SedeLipsia DirettoreOtto Mencke ISSN0166-6304 (WC · ACNP) DistribuzionemultimedialeEdizione digitaleElenco delle uscite   Modifica dati su Wikidata · Manuale Gli Acta Eruditorum (titolo latino, letteralmente Atti degli eruditi, nel senso di 'pubblicazioni di dotti') sono stati un periodico mensil...

 

KV53

KV53Isometria, planimetria e alzato di KV53CiviltàAntico Egitto Utilizzotitolare sconosciuto EpocaNuovo Regno (XVIII dinastia) LocalizzazioneStato Egitto LocalitàLuxor DimensioniSuperficie36,56 m² Altezzamax 1,88 m Larghezzamax 5,17 m Lunghezzamax 8,44 m Volume65,47 m³ ScaviData scoperta1905-1906 Date scavi1905-1906 OrganizzazioneTheodore Davis ArcheologoEdward Russell Ayrton AmministrazionePatrimonioTebe (Valle dei Re) EnteMinistero delle Antichità Visitabileno Sito webwww.the...