Crowdsourcing

Crowdsourcing (em português, contribuição colaborativa ou colaboração coletiva) é uma palavra-valise da língua inglesa. É composta de crowd (multidão) e outsourcing (terceirização).[1][2]

O termo foi descrito pela primeira vez 2006 por Jeff Howe[3][4] e é definido pelo Dicionário Merriam-Webster como o processo de obtenção de serviços, ideias ou conteúdo mediante a solicitação de contribuições de um grande grupo de pessoas e, especialmente, de uma comunidade online, em vez de usar fornecedores tradicionais ou uma equipe de empregados.[5][6] Trata-se de um recurso frequentemente utilizado para dividir trabalhos tediosos, tais como aplicar questionários de pesquisa, levantar fundos para empresas iniciantes ou para instituições de caridade, e já era usado offline, antes da era digital.[7]

Por definição, o crowdsourcing combina os esforços de voluntários identificados ou de trabalhadores em tempo parcial, num ambiente onde cada colaborador, por sua própria iniciativa, adiciona uma pequena parte para gerar um resultado maior. O "crowdsourcing" distingue-se de terceirização pelo fato de o trabalho ser feito por um público indefinido, em vez de ser encomendado ou atribuído a um grupo especificamente designado para realizá-lo.

O crowdsourcing pode ser aplicado a uma ampla gama de atividades.[8][9] Tanto pode ser usado para dividir tarefas tediosas, num tipo de terceirização em multidão, como também pode ser aplicado a necessidades específicas, tais como crowdfunding, uma competição ampla, uma busca geral por respostas e soluções de problemas ou mesmo a procura por uma pessoa desaparecida. A própria Wikipedia é um trabalho crowdsourced, pois utiliza o trabalho de voluntários para a criação e edição de seus verbetes.

Outro exemplo de utilização do trabalho da multidão é o crowdtesting, isto é, a realização de testes de softwares por um grande número de pessoas. O crowdtesting está ganhando grande importância na indústria de software, e estudos recentes mostraram que 55% das empresas do ramo usaram serviços crowdsourced em 2014 e que muitas outras pretendiam usar crowdtesters em 2015.

Segundo seus defensores, o crowdsourcing, se utilizado adequadamente, pode gerar ideias novas, reduzir o tempo de investigação e de desenvolvimento dos projetos, diminuir nos custos, para além de criar uma relação directa com os usuários de uma rede colaborativa de ciência e inteligência. Geralmente, são citados, como bons exemplos de produtos obtidos através do sistema, os sistema operacional GNU/Linux e o navegador Firefox, que foram criados por um exército de voluntários ao redor do mundo. A ideia central é a de que o universo dos internautas possa fornecer informações mais exatas do que peritos individuais, e que o todo seja capaz de se autocorrigir. Ou seja, se um grande número de pessoas é capaz de corrigir os erros uns dos outros, os resultados serão, no global, mais confiáveis do que a resposta de um indivíduo ou de um pequeno grupo. Como exemplo desse conceito, é citada a própria Wikipedia, que é praticamente tão precisa nas suas definições como uma enciclopédia tradicional e consideravelmente mais cómoda de usar. No entanto, há quem considere essas crenças basicamente falsas, ou seja, a ideia de que uma multidão é capaz de resolver melhor os problemas do que os indivíduos seria apenas uma doce ilusão. "Não há crowd no crowdsourcing. Existem apenas virtuoses, pessoas excepcionalmente talentosas e altamente treinadas, que trabalharam por décadas em determinada área", escreve Dan Woods, articulista da Forbes.[10]

Como referem Tapscott e Anthony D. Williams, em Wikinomics, as novas maneiras de "colaboração em massa", que têm um custo reduzido (desde as ligações VOIP e o software livre), permitem que muitos milhares de indivíduos colaborem com pequenos produtores na criação de produtos e que estes cheguem a mercados que anteriormente só era acessíveis a grandes empresas. As pessoas podem atualmente partilhar conhecimentos e recursos que lhes permitem criar uma vasta gama de bens e serviços que qualquer um pode usar e modificar.

Definições

Jeff Howe e Mark Robinson, editores da Revista Wired, utilizaram o termo "crowdsourcing", em 2005, depois de conversas sobre como as empresas estavam usando a Internet e o ambiente online para terceirizar o trabalho com indivíduos.[8] Howe e Robinson chegaram à conclusão de que o que estava acontecendo era como um "outsourcing para a multidão", que rapidamente levou à junção "crowdsourcing". Howe publicou pela primeira vez uma definição para o termo "crowdsourcing" em um post em seu blog juntamente com o artigo de Junho de 2006 na Revista Wired, "The Rise of Crowdsourcing", que saiu na imprensa, poucos dias depois:[11]

"Em termos simplificados, crowdsourcing representa o ato de uma empresa ou instituição pegar uma função realizada por seus funcionários e terceirizar para uma rede indefinida (e geralmente grande) de pessoas, na forma de um convite aberto. Isso pode assumir a forma de peer-produção (quando o trabalho é realizado em colaboração), mas também pode ser realizado por indivíduos únicos. O pré-requisito fundamental é o uso do formato de convite aberto e a grande rede de potenciais colaboradores ".

Em um artigo de 1 º de fevereiro de 2008, Daren C. Brabham definiu "crowdsourcing", como um "modelo de produção e resolução de problemas online e distribuído."[12]

Em crowdsourcing, os problemas são transmitidos ao público, sob a forma de um convite aberto para soluções. Os membros do público submetem soluções que são, então, de propriedade da entidade que transmitiu o problema. Em alguns casos, o contribuinte da solução é compensado financeiramente, com prêmios ou com reconhecimento. Em outros casos, as únicas recompensas podem ser elogios ou satisfação intelectual. Crowdsourcing pode produzir soluções de voluntários amadores, trabalhando em seu tempo livre, ou de peritos ou empresas de pequeno porte que eram desconhecidas para a organização inicial.[13]

Crowdsourcers são motivados principalmente por seus benefícios. Um deles inclui a capacidade para recolher um grande número de soluções e informações, a um custo relativamente barato. Os colaboradores são motivados a contribuir em tarefas crowdsourcing por motivações intrínsecas, tais como o contato social, estímulo intelectual e por hobby, como também por motivações extrínsecas, como o ganho financeiro. Devido aos limites borrados do crowdsourcing, muitas atividades colaborativas são considerados crowdsourcing mesmo quando não são. Outra consequência dessa situação é a proliferação de definições na literatura científica.[14] Diferentes autores dão diferentes definições para crowdsourcing de acordo com suas especialidades, perdendo desta forma o quadro global do termo.

Depois de estudar mais de 40 definições de crowdsourcing na literatura científica e popular, Enrique Estellés-Arolas e Fernando González Ladrón-de-Guevara desenvolveram uma nova definição de integrada.[14]

"Crowdsourcing é um tipo de atividade on-line participativa em que um indivíduo, uma instituição, uma organização sem fins lucrativos, ou a empresa propõe a um grupo de indivíduos de conhecimentos, heterogeneidade e número variados, através de um convite aberto e flexível, o compromisso voluntário da realização de uma tarefa. O compromisso da tarefa, de complexidade variável e modularidade, e na qual a multidão deve participar trazendo seu trabalho, dinheiro, conhecimento e / ou experiência, sempre implica benefício mútuo. O usuário receberá a satisfação de um determinado tipo de necessidade, seja ela, econômica, de reconhecimento social, de autoestima, ou o desenvolvimento de competências individuais, enquanto o crowdsourcer vai obter e utilizar a seu favor o que o usuário trouxe para o empreendimento, cuja forma depende do tipo de atividade definida".

Henk van Ess enfatiza a necessidade de "retribuir" os resultados do crowdsourcing ao público, por razões éticas. Sua definição - não científica, não comercial - é amplamente citada na imprensa popular:[15]

"Crowdsourcing significa canalizar o desejo dos especialistas por resolver um problema e, em seguida, compartilhar livremente a resposta com todos."Sistemas de crowdsourcing são usados para realizar uma variedade de tarefas. Por exemplo, o grupo de colaboradores pode ser convidado a desenvolver uma nova tecnologia, realizar uma tarefa de design (também conhecido como design participativo[16]), refinar ou a executar os passos de um algoritmo, ou ajudam a capturar, sistematizar, ou analisar grandes quantidades de dados.

Predecessores

Embora o termo "crowdsourcing" tenha sido popularizado na Internet para descrever as atividades baseadas na Internet,[17] há exemplos de projetos que, em retrospecto, podem ser descritas como crowdsourcing.

No Dicionário Oxford

O Dicionário de Inglês Oxford (OED) pode fornecer um dos primeiros exemplos de crowdsourcing. Em meados do século XIX, um convite aberto para voluntários foi feito a fim de gerar contribuições que identificassem todas as palavras do idioma inglês e citações exemplificando seus usos.[18] Eles receberam mais de seis milhões de pedidos num período de 70 anos.[19] O making of do OED é detalhado em The Surgeon of Crowthorne (Publicado nos Estados Unidos sob o título "The Professor and the Madman"),de Simon Winchester.[19]

O início: as competições de Crowdsourcing

O crowdsourcing tem sido frequentemente utilizado no passado como uma competição, a fim de descobrir uma solução. O governo francês propôs várias dessas competições, muitas vezes recompensados com Prêmios Montyon, criado para os franceses pobres que tinham feito atos virtuosos.[20] Estes incluem o processo Leblanc, o Prêmio Alkali, onde a recompensa foi dada para a separação do sal do alcalino, e a Turbina do Fourneyron, quando a primeira turbina hidráulica comercial foi desenvolvida.[21]

Em resposta a um desafio do governo francês, Nicolas Appert ganhou um prêmio por ter inventado uma nova forma de conservação de alimentos que envolvia selar a comida em potes herméticos.[22] O governo britânico forneceu uma recompensa semelhante para encontrar uma maneira fácil de determinar a longitude de um navio no Prêmio Longitude. Durante a Grande Depressão, funcionários desempregados tabulavam funções matemáticas no Projeto Tabelas Matemáticas como um projeto de extensão.[23]

Uma das maiores campanhas de crowdsourcing foi um concurso público em 2010, organizado pelo Ministério das Finanças do Governo indiano para criar um símbolo para a rupia indiana. Milhares de pessoas enviaram inscrições antes de o governo decidir pelo símbolo com base no Roteiro de Devanagari usando a letra Ra.[24]

Novos métodos

Atualmente, o crowdsourcing transferiu-se principalmente para a Internet. A Internet oferece um ambiente particularmente bom para crowdsourcing já que os indivíduos tendem a ser mais abertos para projetos baseados na web, onde eles não são julgados fisicamente e, assim, podem se sentir mais confortáveis ao compartilhar, o que favorece projetos mais ousados. Em um ambiente on-line, mais atenção pode ser dada às necessidades específicas de um projeto, em vez de gastar muito tempo na comunicação com outros indivíduos.[25]

O crowdsourcing pode tomar uma rota explícita ou implícita. A rota explícita permite que os usuários trabalhem em conjunto para avaliar, compartilhar e construir diferentes tarefas específicas, enquanto o crowdsourcing implícito significa que os usuários resolvem um problema que resultou de outra tarefa.

Com o crowdsourcing explícito, os usuários podem avaliar determinados itens, como livros ou páginas da web, ou compartilhando produtos ou itens. Os usuários também podem criar artefatos, fornecendo informações e editar o trabalho de outras pessoas.

Já o crowdsourcing implícito pode assumir duas formas: autônoma e piggyback. A forma autônoma permite que as pessoas resolvam problemas que surgiram como um efeito colateral da tarefa que estão executando, enquanto piggyback leva as informações dos usuários de um site de terceiros para coletar informações.

Tipos de crowdsourcing

Existem algumas categorias comuns de crowdsourcing que podem ser utilizadas de forma eficaz no mundo comercial. Alguns desses esforços de crowdsourcing baseados na web incluem crowdvoting, a sabedoria da multidão, crowdfunding, microwork, crowdsourcing criativo e concursos com prêmios de incentivo.[26]

De acordo com uma definição por Henk van Ess:

"Os problemas de crowdsourced podem ser enormes (tarefas épicas, como encontrar vida alienígena ou o mapeamento de zonas sísmicas) ou muito pequenos ("onde posso andar de skate com segurança?"). Alguns exemplos de temas de crowdsourcing bem sucedidos são problemas que incomodam as pessoas, coisas que fazem as pessoas se sentirem bem consigo mesmas, projetos de um nicho de conhecimento de especialistas orgulhosos, temas que as pessoas acham simpáticos ou qualquer forma de injustiça."

Tipologia de crowdsourcing

Em seu livro Crowdsourcing, de 2013, Daren C. Brabham descreve uma tipologia baseada em problemas de abordagens de crowdsourcing:[27]

  • Descoberta de Conhecimento e Gestão - para problemas de gestão da informação, onde uma organização mobiliza uma multidão para encontrar e reunir informações. Ideal para a criação de recursos coletivos.
  • Inteligência Humana Distribuída em Multitarefas - para problemas de gestão da informação, onde uma organização tem um conjunto de informações em mãos e mobiliza uma multidão para processar ou analisar a informação. Ideal para o processamento de grandes conjuntos de dados que os computadores não podem facilmente fazer.
  • Pesquisa Broadcast - para problemas de ideias, onde uma organização mobiliza uma multidão para chegar a uma solução para um problema que tem uma resposta correta e objetiva. Ideal para a resolução de problemas científicos.
  • Ponto-vetados de Produção Criativa - para problemas de ideias, onde uma organização mobiliza uma multidão para chegar a uma solução para um problema que tem uma resposta que é subjetiva ou dependente do apoio público. Ideal para projetos estéticos ou de mapeamento de problemas políticos.

Crowdsourcers

Há uma série de motivações para as empresas usarem o método crowdsourcing para realizar suas tarefas, encontrar soluções para os problemas, ou para coletar informações. Este processo ajuda na capacidade de descarregar a demanda de pico, possui informações e serviços mais baratos, gera melhores resultados, acessa uma ampla gama de talentos que podem estar presentes em uma organização, e realiza os problemas que teriam sido muito difíceis de resolver internamente.[28] O crowdsourcing permite às empresas apresentarem problemas em que colaboradores possam trabalhar, sobre diversos temas, com recompensas monetárias para soluções de sucesso. Embora possa ser difícil de solucionar tarefas complicadas, tarefas de trabalho simples podem ser resolvidas de forma barata e eficaz.

De acordo com o consultor e jornalista Clay Shirky, se você oferece aos indivíduos a oportunidade de cooperar, o resultado é geralmente positivo, mesmo que nunca o tenham feito antes.[29]

Crowdsourcing também tem o potencial de ser um mecanismo de resolução de problemas para o governo e sem fins lucrativos.[30] Planejamento urbano e trânsito são as áreas principais para o método. Um projeto de crowdsourcing para testar o processo de participação pública no planejamento de trânsito, em Salt Lake City, foi realizado 2008-2009, financiado por uma doação da Administração Federal de Trânsito.[31]

Pesquisadores têm utilizado sistema de crowdsourcing para ajudar com projetos de pesquisa, tais como coleta de dados, análise e avaliação. Exemplos notáveis incluem o uso da população para criar bancos de dados de fala e linguagem,[32][33] usando a população para a realização de estudos de usuários. O crowdsourcing fornece a esses pesquisadores a capacidade de reunir grande quantidade de dados. Além disso, os pesquisadores podem coletar dados de populações e demografia que não teriam acesso, mas que melhoram a validade e o valor do seu trabalho.[34]

Tal como acontece com outros crowdsourcers, os artistas usam sistemas de crowdsourcing para gerar e coletar dados. O método também pode ser usado para servir de inspiração e recolher apoio financeiro para o trabalho de um artista.[35] O ilustrador Sam Brown aproveita a multidão, pedindo a visitantes do seu website explodingdog que lhe enviem frases que possam inspirar seus trabalhos. A curadora de arte Andrea Grover argumenta que os indivíduos tendem a ser mais abertos em projetos de crowdsourcing porque não estão sendo julgados ou examinados fisicamente.[36]

Motivações

Muitos estudiosos de crowdsourcing acreditam que haja motivações intrínsecas e extrínsecas que possam levar as pessoas a contribuírem para as tarefas de crowdsourcing e que esses fatores influenciem diferentes tipos de contribuintes.[37][38]

As motivações intrínsecas são divididas em duas categorias: motivações de base e motivações comunitárias. Motivações de base estão relacionadas à diversão e ao prazer que as experiências de participação proporcionam aos contribuintes . Essas motivações incluem: variedade de habilidades, identidade da tarefa, autonomia da tarefa, feedback direto do trabalho e passatempo. Motivações comunitárias se referem às motivações relacionadas com a participação da comunidade, e inclui a identificação da comunidade e contato social.

Motivações extrínsecas são divididas em três categorias: pagamentos imediatos, pagamentos atrasados, e motivações sociais. Pagamentos imediatos: por meio de pagamento em dinheiro, são as compensações recebidas imediatamente para aqueles que completarem as tarefas. Pagamentos atrasados são os benefícios que podem ser usados para gerar vantagens futuras, tais como habilidades de treinamento e ser notado por potenciais empregadores. Motivações sociais são as recompensas de comportamento pró-social, tais como motivações altruístas.

Outra forma de motivação social é prestígio ou status. A Biblioteca Digital Internacional da Criança recruta voluntários para traduzir e revisar livros. Para que todos os tradutores recebam o reconhecimento público por suas contribuições, Kaufman e Schulz citam isso como uma estratégia baseada em reputação para motivar as pessoas que querem ser associados com instituições que têm prestígio.

Crítica

Existem duas categorias principais de críticas ao crowdsourcing:

  1. O impacto do trabalho e o valor recebido.
  2. As implicações éticas de baixos salários pagos aos crowdworkers.

A maior parte dessas críticas são direcionados para sistemas de crowdsourcing que oferecem recompensas monetárias extrínsecas aos contribuintes, embora algumas se apliquem de forma mais geral a todos os sistemas de crowdsourcing. Um exemplo de crowdsourcing frequentemente criticado é o Amazon Mechanical Turk,[39] plataforma pertencente ao gigante do varejo Amazon. Tanto a qualidade do produto final obtido na plataforma quanto o baixo valor pago por tarefa são vistos como negativos pelos observadores.[40]

Impacto do crowdsourcing na qualidade do produto

O crowdsourcing permite a participação de qualquer pessoa, inclusive pessoas não qualificadas, o que resulta em grande quantidade de contribuições não aproveitáveis. As empresas ou crowdworkers adicionais, precisam então excluir todas essas contribuições de baixa qualidade. Essa tarefa de triagem de contribuições dos crowdworkers, além do próprio trabalho de gerenciamento da multidão, obriga as empresas a contratar funcionários "reais", aumentando suas despesas de administração.[41] Há também a possibilidade de resultados defeituosos produzidos de propósito, por pessoas mal-intencionadas. Além disso, uma vez que os crowdworkers que realizam microtasks são pagos por tarefa, muitas vezes há um incentivo financeiro para completar as tarefas rapidamente, e não para completá-las bem. Verificar as respostas demanda muito tempo e por isso os solicitantes dependem frequentemente de ter vários trabalhadores completarem a mesma tarefa para então corrigir os erros. Ter cada tarefa concluída várias vezes aumenta o tempo e os custos monetários.[42]

Crowdworkers são uma amostra não aleatória da população. Muitos pesquisadores usam crowdsourcing como uma maneira rápida e barata de realizar estudos com amostras maiores do que seria possível de outra forma. No entanto, devido ao baixo salário dos trabalhadores, os pesquisadores buscam usuários nos países em desenvolvimento.[43]

Um projeto de crowdsourcing muitas vezes falha devido à falta de motivação monetária ou à existência de poucos participantes. Tarefas que não forem concluídas rapidamente poderão ser esquecidas.[44] Mesmo quando as tarefas são concluídas, o projeto nem sempre produz resultados de qualidade. Quando o Facebook começou seu programa de localização em 2008, ele recebeu algumas críticas pela baixa qualidade das suas traduções livres.[45]

Um dos problemas de produtos de crowdsourcing é a falta de interação entre o público e o cliente. Geralmente há pouca informação sobre o produto final desejado, e a interação com o cliente final é muito limitada. Isso pode baixar a qualidade do produto, pois a interação do cliente é uma parte vital no processo de design.[46]

É normalmente esperado que um projeto crowdsourcing seja imparcial, incorporando uma grande população de participantes com uma formação diversificada. No entanto, a maioria dos trabalhos de crowdsourcing é feita por pessoas que são pagas ou se beneficiam diretamente do resultado (por exemplo, a maioria dos projetos de código aberto que trabalham com Linux). Em muitos outros casos, o produto final é o resultado do esforço de uma única pessoa, que cria a maior parte do produto, enquanto a maioria dos colaboradores só participa nos detalhes menores.[10]

Referências

  1. ↑ Hirth,Matthias; Hoßfeld, Tobias; Tran-Gia, Phuoc. Anatomy of a Crowdsourcing Platform - Using the Example of Microworkers.com Arquivado em 22 de novembro de 2015, no Wayback Machine.. 5th IEEE International Conference on Innovative Mobile and Internet Services in Ubiquitous Computing (IMIS 2011), June 2011, DOI: 10.1109/IMIS.2011.89
  2. ↑ Schenk, Eric; Guittard, Claude (2009). «Crowdsourcing: What can be Outsourced to the Crowd, and Why ?» (PDF). hal.archives-ouvertes.fr [ligação inativa]
  3. ↑ Howe, Jeff (1 de junho de 2006). «The Rise of Crowdsourcing». Wired. ISSN 1059-1028 
  4. ↑ Bittencourt, L. C; Moraes Filho, R. M. de (2014). «Colaboração em Massa (Crowdsourcing) na comunicação corporativa» (PDF). Biblioteca On-line de Ciências da Comunicação. Consultado em 2 de novembro de 2019 
  5. ↑ "Crowdsourcing - Definition and More". Merriam-Webster, August 31, 2012.
  6. ↑ Safire, William (5 de fevereiro de 2009). «On Language». New York Times Magazine. Consultado em 19 de maio de 2013 
  7. ↑ Howe, Jeff (2006). "The Rise of Crowdsourcing". Wired.
  8. ↑ a b Safire, William (February 5, 2009). "On Language". New York Times Magazine. Retrieved May 19, 2013.
  9. ↑ Aparicio, Manuela; Costa, Carlos J.; Braga, Andrew Simoes (11 de junho de 2012). «Proposing a system to support crowdsourcing». ACM: 13–17. ISBN 9781450315258. doi:10.1145/2316936.2316940 
  10. ↑ a b Woods, Dan (28 September 2009). "The Myth of Crowdsourcing". Forbes. Retrieved 2012-12-04.
  11. ↑ Howe, Jeff (June 2, 2006). "Crowdsourcing: A Definition". Crowdsourcing Blog. Retrieved January 2, 2013.
  12. ↑ Brabham, Daren (2008), "Crowdsourcing as a Model for Problem Solving: An Introduction and Cases" (PDF) Arquivado abril 25, 2012 no WebCite ,Convergence: The International Journal of Research into New Media Technologies 14 (1): 75–90,doi:10.1177/1354856507084420
  13. ↑ Howe, Jeff (2006). "The Rise of Crowdsourcing". Wired.
  14. ↑ a b Estellés-Arolas, Enrique; González-Ladrón-de-Guevara, Fernando (2012), "Towards an Integrated Crowdsourcing Definition" (PDF), Journal of Information Science 38 (2): 189–200,doi:10.1177/0165551512437638
  15. ↑ Claypole, Maurice (February 14, 2012). "Learning through crowdsourcing is deaf to the language challenge". [[The Guardian]] (London).
  16. ↑ Whitford, David (January 8, 2010). "Crowd Sourcing Turns Business On Its Head". CNN.
  17. ↑ Brabham, Daren (2008), "Crowdsourcing as a Model for Problem Solving: An Introduction and Cases" (PDF) Arquivado abril 25, 2012 no WebCite , Convergence: The International Journal of Research into New Media Technologies 14 (1): 75–90,doi:10.1177/1354856507084420
  18. ↑ Winchester, Simon (1999). The Professor and the Madman. New York: HarperPerennial. [1] [2].
  19. ↑ a b Lanxon, Nate (January 31, 2011). "How the Oxford English Dictionary started out like Wikipedia". Retrieved 2012-04-04.
  20. ↑ "Antoine-Jean-Baptiste-Robert Auget, Baron de Montyon". New Advent. Retrieved February 25, 2012.
  21. ↑ "It Was All About Alkali". Chemistry Chronicles. Retrieved February 25, 2012.
  22. ↑ "Nicolas Appert". John Blamire. Retrieved February 25, 2012.
  23. ↑ "9 Examples of Crowdsourcing, Before ‘Crowdsourcing’ Existed". MemeBurn. Retrieved February 25, 2012.
  24. ↑ Pande, Shamni. "The People Know Best". Business Today. India: Living Media India Limited.
  25. ↑ Doan, A; Ramarkrishnan, R; Halevy, A (2011),"Crowdsourcing Systems on the World Wide Web"(PDF), Communications of the ACM 54 (4): 86–96,doi:10.1145/1924421.1924442
  26. ↑ Howe, Jeff (2008), "Crowdsourcing: Why the Power of the Crowd is Driving the Future of Business" (PDF) Arquivado em 23 de setembro de 2015, no Wayback Machine., The International Achievement Institute.
  27. ↑ Brabham, Daren C. (2013), Crowdsourcing, MIT Press.
  28. ↑ Noveck, Beth Simone (2009), Wiki Government: How Technology Can Make Government Better, Democracy Stronger, and Citizens More Powerful, Brookings Institution Press
  29. ↑ SHIRKY, Clay. A cultura da participação: criatividade e generosidade no mundo conectado. Rio de Janeiro: Zahar, 2011.
  30. ↑ "Crowdfunding and Civic Society in Europe: A Profitable Partnership?". Open Citizenship Journal. Retrieved April 29, 2013.
  31. ↑ Federal Transit Administration Public Transportation Participation Pilot Program Arquivado em 12 de dezembro de 2010, no Wayback Machine., U.S. Department of Transportation
  32. ↑ Callison-Burch, C; Dredze, M (2010), "Creating Speech and Language Data With Amazon’s Mechanical Turk" (PDF), Human Language Technologies Conference: 1–12
  33. ↑ McGraw, I; Seneff, S (2011), "Growing a Spoken Language Interface on Amazon Mechanical Turk" (PDF), Interspeech: 3057–3060
  34. ↑ Mason, W; Suri, S (2010), "Conducting Behavioral Research on Amazon’s Mechanical Turk", Behavior Research Methods
  35. ↑ Linver, D. (2010), «Crowdsourcing and the Evolving Relationship between Art and Artist». www.crowdsourcing.org. Consultado em 2 de julho de 2014. Arquivado do original em 14 de julho de 2014 
  36. ↑ DeVun, Leah (November 19, 2009). "Looking at how crowds produce and present art.". Wired News. Retrieved February 26, 2012.
  37. ↑ Brabham, Daren C. (2008). "Moving the Crowd at iStockphoto: The Composition of the Crowd and Motivations for Participation in a Crowdsourcing Application". First Monday.
  38. ↑ Lakhani et al. (2007). The Value of Openness in Scientific Problem Solving. Retrieved February 26, 2012.
  39. ↑ «Amazon Mechanical Turk». www.mturk.com. Consultado em 18 de agosto de 2015. Arquivado do original em 26 de novembro de 2014 
  40. ↑ «How Mechanical Turk is Broken | MIT Technology Review». Consultado em 18 de agosto de 2015 
  41. ↑ Borst, Irma. «The Case For and Against Crowdsourcing: Part 2». Consultado em 9 de fevereiro de 2015. Arquivado do original em 12 de setembro de 2015 
  42. ↑ Ipeirotis; Provost; Wang (2010). Quality Management on Amazon Mechanical Turk (PDF) Arquivado em 2 de março de 2014, no Wayback Machine..
  43. ↑ Hirth; Hoßfeld; Tran-Gia (2011), «Human Cloud as Emerging Internet Application - Anatomy of the Microworkers Crowdsourcing Platform (PDF)» (PDF). www3.informatik.uni-wuerzburg.de 
  44. ↑ Ipeirotis (2010). "Analyzing the Amazon Mechanical Turk Marketplace". XRDS: Crossroads, The ACM Magazine for Students - Comp-YOU-Ter (ACM) 17 (2). Retrieved February 26, 2012.
  45. ↑ Hosaka, Tomoko A. (April 2008). "Facebook asks users to translate for free". MSNBC.
  46. ↑ Britt, Darice. "Crowdsourcing: The Debate Roars On" Arquivado em 1 de julho de 2014, no Wayback Machine.. Retrieved 2012-12-04.

Ver também