Raspagem de dados

Data scraping (em português, raspagem de dados) é uma técnica computacional na qual um programa extrai dados de saída legível somente para humanos, proveniente de um serviço ou aplicativo. Os dados extraídos geralmente são minerados e estruturados em um formato padrão como CSV, XML ou JSON.[1]

Descrição

Normalmente, a transferência de dados é feita utilizando-se estrutura de dados adequadas para processos automatizados por computadores, e não por humanos. Tais comunicações de formato e protocolo são rigidamente estruturados, documentados, facilmente analisado, mantendo a ambiguidade ao mínimo.[1]

A raspagem de dados é mais frequentemente realizada em serviços ou aplicativos web legados ou aqueles que não oferecem uma interface de programação de aplicação. Neste último caso, geralmente os responsáveis pelo serviço ou aplicação consideram a raspagem de dados como indesejada, possivelmente pela sobrecarga do sistema, perda de receita por propagandas, ou pela perda do controle do conteúdo da informação.[1]

A extração de dados é muitas vezes considerada ad hoc, uma técnica deselegante, frequentemente utilizada como último recurso quando não há outro mecanismo de intercâmbio de dados.

Tipos

Web scraping

Páginas Web são construídas utilizando-se linguagens de marcação baseadas em textos (HTML e XHTML), e frequentemente contêm uma riqueza de dados textuais úteis. No entanto, a maioria das páginas da web são projetados para usuários finais humanos e não para uso automatizado. Devido a isso, criou-se ferramentas que raspam conteúdos da web. Um web scraping é uma API para extrair dados de um web site. Empresas como a Amazon AWS e Google fornecem ferramentas de extração, serviços e dados públicos disponíveis sem custo para os usuários finais.[1] Novas formas de web scraping envolvem capturar feeds de dados de servidores web. Por exemplo, JSON é comumente usado como um mecanismo de armazenamento de transporte entre o cliente e o servidor web.

Recentemente, as empresas têm desenvolvido sistemas web que dependem de técnicas em análise do Modelo de Objeto de Documentos, visão computacional e processamento de linguagem natural para simular o processamento humano que ocorre ao visualizar uma página da web para extrair automaticamente informações úteis.

Screen scraping

Ver artigo principal: Screen scraping

Screen scraping é uma técnica de raspagem geralmente associada à recolha programática de dados visuais a partir de uma origem, ao contrário da extração de dados textuais como a web scraping. Originalmente, screen scraping é o processo de obtenção de dados textuais a partir de uma tela de computador ou um arquivo de imagem.

Ver também

Referências

  1. ↑ a b c d Susanne Webster (7 de maio de 2015). «What Is Scraping? The Basics For Everyone» (em inglês). My Helpster. Consultado em 27 de dezembro de 2015 

Read other articles:

Gempa bumi Ludian 2014

Gempa bumi Ludian 2014Kerusakan di Zhoujiaping setelah gempaTampilkan peta TiongkokTampilkan peta YunnanWaktu UTC2014-08-03 08:30:13ISC605131010USGS-ANSSComCatTanggal setempat3 Agustus 2013Waktu setempat16:03:13Kekuatan6.1 MwKedalaman10,0 km (6,2 mi)Episentrum27°14′42″N 103°25′37″E / 27.245°N 103.427°E / 27.245; 103.427Koordinat: 27°14′42″N 103°25′37″E / 27.245°N 103.427°E / 27.245; 103.427Wilayah...

 

SMA Negeri 6 Bandung

SMA Negeri 6 BandungInformasiNama latinSMANAMDidirikan1956AkreditasiA[1]Nomor Statistik Sekolah301026003008Kepala SekolahSucipta, M.Pd.,(2022-sekarang)Jumlah kelas28 RombelJurusan atau peminatanIPA dan IPSRentang kelasX IPA,X IPS,XI IPA, XI IPS, XII IPA, XII IPSKurikulumKurikulum Nasional(2013)Jumlah siswa1037 siswa (37 siswa per kelas)AlamatLokasiJalan Pasirkaliki No.51, Bandung, Jawa Barat,  IndonesiaTel./Faks.(022) 6027149Situs websman6bdg.sch.idMotoMo...

 

Agusan del Norte

Province in Caraga, PhilippinesAgusan del NorteProvinceProvince of Agusan del Norte From top, to bottom: Santiago River; Magallanes Bay Walk; Agusan del Norte Provincial Capitol FlagSealCoat of armsLocation in the PhilippinesCoordinates: 9°10′N 125°30′E / 9.17°N 125.5°E / 9.17; 125.5CountryPhilippinesRegionCaragaFounded17 June 1967CapitalCabadbaranAdministrative centerButuanLargest cityButuanGovernment • GovernorMa. Angelica Rosedell M. Amante-Matba...

South Korea at the 2008 Summer Olympics

Sporting event delegationSouth Korea at the2008 Summer OlympicsIOC codeKORNOCKorean Olympic CommitteeWebsitewww.sports.or.kr (in Korean and English)in BeijingCompetitors267 in 25 sportsFlag bearers Jang Sung-ho (opening)Jang Mi-ran (closing)MedalsRanked 7th Gold 13 Silver 11 Bronze 8 Total 32 Summer Olympics appearances (overview)19481952195619601964196819721976198019841988199219962000200420082012201620202024 South Korea competed (as Korea) at the 2008 Summer Olympics in Beijing, Ch...

 

أفرام هيرشكو

أفرام هيرشكو   معلومات شخصية الميلاد 31 ديسمبر 1937 (87 سنة)[1]  مواطنة المجر إسرائيل  عضو في الأكاديمية الوطنية للعلوم،  وأكاديمية إسرائيل للعلوم والإنسانيات،  والأكاديمية المجرية للعلوم،  والأكاديمية الصينية للعلوم،  والأكاديمية الأمريكية للفنون والع�...

 

Greenback, Tennessee

City in Tennessee, United StatesGreenback, TennesseeCityWelcome sign along Morganton Road SealMotto(s): Small Town, Big HeartLocation of Greenback in Loudon/Blount County, Tennessee.Coordinates: 35°38′55″N 84°10′21″W / 35.64861°N 84.17250°W / 35.64861; -84.17250CountryUnited StatesStateTennesseeCountyLoudonFounded1883Incorporated1957[1]Named forGreenback PartyGovernment • TypeMayor/Aldermen Charter • MayorDewayne Birchf...

趙家驤

追晉陸軍二級上將趙家驤將軍个人资料出生1910年 大清河南省衛輝府汲縣逝世1958年8月23日(1958歲—08—23)（47—48歲） † 中華民國福建省金門縣国籍 中華民國政党 中國國民黨获奖 青天白日勳章（追贈）军事背景效忠 中華民國服役 國民革命軍 中華民國陸軍服役时间1924年－1958年军衔 二級上將 （追晉）部队四十七師指挥東北剿匪總司令部參謀長陸軍�...

 

Dallas Buyers Club

2013 American biographical drama film Dallas Buyers ClubTheatrical release posterDirected byJean-Marc ValléeWritten by Craig Borten Melisa Wallack Produced by Robbie Brenner Rachel Winter Starring Matthew McConaughey Jennifer Garner Jared Leto CinematographyYves BélangerEdited byJohn Mac McMurphyMartin PensaProductioncompanies Truth Entertainment Voltage Pictures Distributed byFocus FeaturesRelease dates September 7, 2013 (2013-09-07) (TIFF) November 1, 2013...

 

Saumur

For the wine, see Saumur (wine). For the Canadian Supreme Court decision, see Saumur v. The City of Quebec. You can help expand this article with text translated from the corresponding article in French. (March 2022) Click [show] for important translation instructions. Machine translation, like DeepL or Google Translate, is a useful starting point for translations, but translators must revise errors as necessary and confirm that the translation is accurate, rather than simply copy-pastin...

Daftar duta besar Peru untuk Indonesia

Duta Besar Peru untuk IndonesiaPetahanaLuis Raūl Tsuboyama Galvānsejak 2022 Berikut adalah daftar duta besar Republik Peru untuk Republik Indonesia. Nama Kredensial Selesai tugas Ref. Fortunato Isasi Cayo 25 Juli 1984 [1] Julio Balbuena Lopez Alfaro 8 Mei 1991 [1] Elard Escala Sanchez-Barreto 3 Desember 1994 [1] Robertus Seminario Portocarrero 5 Juni 2012 [2] Julio Arturo Cardenas 12 September 2017 [3] Luis Raūl Tsuboyama Galvān 2 Maret 2022 Pe...

 

Aéroport international de Wuhan Tianhe

Cet article est une ébauche concernant un aéroport chinois. Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants. Pour les articles homonymes, voir Tianhe. Aéroport international de Wǔhàn Tiānhé(武汉天河国际机场)Wǔhàn Tiānhé guójì jīchǎng Localisation Pays Chine Ville Municipalité de Wuhan Coordonnées 30° 47′ 01″ nord, 114° 12′ 29″ est Altitude 34 m (113...

 

约翰斯顿环礁

此條目可参照英語維基百科相應條目来扩充。 (2021年5月6日)若您熟悉来源语言和主题，请协助参考外语维基百科扩充条目。请勿直接提交机械翻译，也不要翻译不可靠、低品质内容。依版权协议，译文需在编辑摘要注明来源，或于讨论页顶部标记{{Translated page}}标签。 约翰斯顿环礁Kalama Atoll 美國本土外小島嶼 Johnston Atoll 旗幟颂歌：《星條旗》The Star-Spangled Banner約翰斯頓環礁�...

2020年夏季奧林匹克運動會波蘭代表團

2020年夏季奥林匹克运动会波兰代表團波兰国旗IOC編碼POLNOC波蘭奧林匹克委員會網站olimpijski.pl（英文）（波兰文）2020年夏季奥林匹克运动会（東京）2021年7月23日至8月8日（受2019冠状病毒病疫情影响推迟，但仍保留原定名称）運動員206參賽項目24个大项旗手开幕式：帕维尔·科热尼奥夫斯基（游泳）和马娅·沃什乔夫斯卡（自行车）[1]闭幕式：卡罗利娜·纳亚（皮划艇）&#...

 

Kang Sheng

Chinese politician (1898–1975) Not to be confused with Kang Shien. This article has multiple issues. Please help improve it or discuss these issues on the talk page. (Learn how and when to remove these template messages) You can help expand this article with text translated from the corresponding article in Chinese. (August 2020) Click [show] for important translation instructions. Machine translation, like DeepL or Google Translate, is a useful starting point for translations, but tra...

 

دسمان

  لمعانٍ أخرى، طالع دسمان (توضيح). يفتقر محتوى هذه المقالة إلى الاستشهاد بمصادر. فضلاً، ساهم في تطوير هذه المقالة من خلال إضافة مصادر موثوق بها. أي معلومات غير موثقة يمكن التشكيك بها وإزالتها. (مارس 2016) دسمان أحياء مدينة الكويت قديماً. المحافظة: العاصمة الدائرة الانتخاب�...

Museum Pertanian (Malaysia)

Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini.Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan atau coba peralatan pencari pranala.Tag ini diberikan pada Oktober 2022. Museum PertanianMuzium PertanianDidirikanOktober 1990LokasiJasin, Melaka, MalaysiaKoordinat2°18′36.4″N 102°25′52.6″E / 2.310111°N 102.431278°E / 2.310111; 102.431278Jenismuseum Ruang pameran Museum Pertanian Museum P...

 

Arriva Scotland West

British bus operating company Arriva Scotland WestEast Lancs MaxCi bodied Scania N113CRL in Glasgow in 2002ParentArrivaFounded1985Ceased operation2012HeadquartersInchinnanService areaGlasgowRenfrewshireService typeBus operatorHubsInchinnanJohnstoneFleet194 (June 2009) Arriva Scotland West[1] was a bus company based in Inchinnan, near Paisley, Scotland. It was formed in 1997 as a rebranding of the former Clydeside 2000 company when purchased by Arriva. On 26 March 2012, the business wa...

 

Jimalalud, Negros Timur

Peta menunjukkan lokasi Jimalalud Jimalalud adalah munisipalitas yang terletak di provinsi Negros Oriental, Filipina. Pada tahun 2010, munisipalitas ini memiliki populasi sebesar 30.407 jiwa dan 6.081 rumah tangga. Pembagian wilayah Secara administratif Jimalalud terbagi menjadi 28 barangay, yaitu: Aglahug Agutayon Ampanangon Bae Bala-as Bangcal Banog Buto Cabang Camandayon Cangharay Canlahao Dayoyo Yli Lacaon Mahanlud Malabago Mambaid Mongpong Owacan Pacuan Panglaya-an North Poblacion South ...

Stockholm

Den här artikeln handlar om staden Stockholm i Sverige. För andra betydelser, se Stockholm (olika betydelser). Stockholm Huvudstad · Residensstad · Stiftsstad Riddarholmen, Gamla stan, Stadshuset med Evert Taube, Hötorgsskraporna, Globen och Stockholms slott. Land  Sverige Län Stockholms län Kommun Stockholms kommun Koordinater 59°19′46″N 18°4′7″Ö / 59.32944°N 18.06861°Ö / 59.32944; 18.06861 Högsta punkt Högdalstoppen (H�...

 

Tour de France 2008

Tour de France 2008Carlos Sastre, vêtu du maillot jaune, durant la dernière étapeGénéralitésCourse 95e Tour de FranceÉtapes 21Date 5 au 27 juillet 2008Distance 3 558,5 kmPays traversé(s) France ItalieLieu de départ BrestLieu d'arrivée ParisÉquipes 20Partants 180Vitesse moyenne 40,492 km/hRésultatsVainqueur Carlos SastreDeuxième Cadel EvansTroisième Denis MenchovClassement par points Óscar FreireMeilleur grimpeur Carlos Sastre[1]Meilleur jeune Andy SchleckMeilleur...