info.info-gl info
Uma Revisão 
  
Sistemática Da Literatura 
  
Eduardo Ferreira Franco 
email: eduardo.franco@usp.br
  
Bassiro Só 
email: bassiro@usp.br
  
Antonio Cesar 
  
Amaru Maximiano 
email: maximin@usp.br
  
Kechi Hirama 
email: kechi.hirama@usp.br
  
  
  
  
  
  
  
  
AVALIAÇÃO DE SUCESSO DE PROJETOS BASEADOS EM SISTEMAS DE INFORMAÇÃO

O índice elevado de insucesso envolvendo projetos de sistemas de informação vem se mantendo nos últimos anos. Além dos índices apresentados, diversos modelos para avaliar e mensurar sucesso foram propostos, envolvendo

INTRODUÇÃO

Nos últimos anos diversas leis foram promulgadas no Brasil para fomentar a inovação tecnológica junto às empresas por meio de incentivos fiscais, permitindo enquadrar no escopo destes incentivos, iniciativas que impliquem melhorias incrementais e efetivo ganho de qualidade ou produtividade, resultando em maior competitividade no mercado (BRASIL, 2004(BRASIL, , 2005)). Nos dias atuais as iniciativas voltadas à melhoria de desempenho, como programas de gestão pela qualidade total (TQM, do inglês "Total Quality Management") e reengenharia de processos (BPR, do inglês "Business Process Reengineering"), frequentemente estão associadas à implantação, manutenção ou expansão do uso de sistemas de informação (ANAYA; DULAIMI; [START_REF] Anaya | An investigation into the role of enterprise information systems in enabling business innovation[END_REF][START_REF] Mustonen-Ollila | Why organizations adopt information system process innovations: A longitudinal study using diffusion of innovation theoryInformation Systems[END_REF][START_REF] Mustonen-Ollila | Why organizations adopt information system process innovations: A longitudinal study using diffusion of innovation theoryInformation Systems[END_REF][START_REF] Tarafdar | Understanding the influence of information systems competencies on process innovation: A resource-based view[END_REF][START_REF] Tarafdar | Understanding the influence of information systems competencies on process innovation: A resource-based view[END_REF].

A disseminação e utilização de sistemas de informação em ambientes corporativos já é uma realidade há algumas décadas, tanto que alguns autores não os consideram mais como diferenciais competitivos, mas sim commodities [START_REF] Carr | Why IT Doesn't Matter Anymore[END_REF]. A ampla difusão de sistemas de informação acarretou em uma dependência operacional, gerencial e estratégica das organizações em sistemas de informação (MELVILLE; KRAEMER; [START_REF] Melville | Review: Information technology and organizational performance: An integrative model of IT business value[END_REF], fenômeno que foi acelerado pelo aumento da competitividade [START_REF] Bharadwaj | Digital business strategy: toward a next generation of insights[END_REF][START_REF] Drnevich | Information technology and business-level strategy: toward an integrated theoretical perspective[END_REF][START_REF] Drnevich | Information technology and business-level strategy: toward an integrated theoretical perspective[END_REF] e quantidade inimaginável de dados e informações necessária para tomada de decisões com tempo de resposta cada vez mais reduzido [START_REF] Chen | Business intelligence and analytics: from big data to big impact[END_REF][START_REF] Chen | Business intelligence and analytics: from big data to big impact[END_REF][START_REF] Chen | Business intelligence and analytics: from big data to big impact[END_REF].

Essa crescente dependência implica em uma exigência maior por resultados positivos e retorno do investimento realizado, ou seja, aqueles que financiam projetos envolvendo sistemas de informação almejam obter sucesso ao final de seu desenvolvimento e implantação (MCKINSEY & COMPANY, 2011), independente de qual seja o entendimento de sucesso e conclusão destas iniciativas conforme é discutido adiante.

Contrariando esta expectativa, são frequentes na literatura relatos de fracassos de iniciativas de sistemas informação, apresentando casos que de alguma forma falharam em entregar os benefícios esperados, e publicação de índices de desempenho desanimadores. Apesar de controversos, os dados apresentados pelo "Chaos Report" [START_REF] Standish | CHAOS MANIFESTO 2013: Think Big[END_REF], referentes ao período de 1994 até 2012, mostram que em média 65% dos projetos de software avaliados fracassaram (foram cancelados antes de sua conclusão, denominados failed) ou tiveram algum tipo de alteração com relação a prazo, custo ou escopo previstos inicialmente (challanged). Casos de fracassos são relatados em projetos de software de diferentes naturezas , como por exemplo, sistemas de ERP (Enterprise Resource Planning) (HONG; [START_REF] Hong | The critical success factors for ERP implementation: an organizational fit perspective[END_REF], projetos internacionais de desenvolvimento de software (AHSAN; [START_REF] Ahsan | Analysis of cost and schedule performance of international development projects[END_REF], projetos militares (ROYAL ACADEMY [START_REF] Engineering | The Challenges of Complex IT Projects: The Report of a Working Group from the Royal Academy of Engineering and the British Computer Society[END_REF], a iniciativa do governo britânico de automatizar os registros de saúde que se estendeu entre 2000 e 2010 e foi abandonado após os custos atingirem a ordem de 5 a 10 bilhões de dólares [START_REF] Sommerville | Large-scale complex IT systems[END_REF], entre outros.

Apesar de amplamente citado, o "Chaos Report" também é questionado e criticado (EVELEENS; [START_REF] Eveleens | The rise and fall of the Chaos report figures[END_REF][START_REF] Glass | IT Failure Rates -70% or 10-15%?[END_REF][START_REF] Glass | The Standish report: does it really describe a software crisis[END_REF][START_REF] Jørgensen | How large are software cost overruns? A review of the[END_REF][START_REF] Jørgensen | How large are software cost overruns? A review of the[END_REF]. Ele utiliza como critério de avaliação de sucesso a figura de um "triangulo de ferro" composto pela tríplice prazo, custo e qualidade, ou seja, têm sucesso aqueles projetos que são aderentes à previsão inicial destas três variáveis, não levando em consideração o contexto do projeto, a utilidade do sistema, o lucro obtido e a satisfação dos usuários (EVELEENS; VERHOEF, 2010).

Esse critério vem sendo discutido e ampliado nos últimos anos contemplando reflexões, como por exemplo, de que devido à diferença de tamanho, complexidade e singularidade, os critérios de avaliação de sucesso variam de projeto para projeto (MÜLLER; [START_REF] Müller | The Influence of Project Managers on Project Success Criteria and Project Success by Type of Project[END_REF], os fatores que influenciam a percepção de sucesso variam de acordo com a perspectiva das partes interessadas e do momento do ciclo de vida do projeto em que é feita a avaliação [START_REF] Davis | Different stakeholder groups and their perceptions of project success[END_REF], que existe a necessidade de distinguir entre sucesso e fracasso do projeto ou do gerenciamento do projeto (SAGE; DAINTY; BROOKES, 2014; YOUNG; POON, 2013), a consideração de aspectos intangíveis na avaliação de sucesso (BRYNJOLFSSON; [START_REF] Brynjolfsson | Intangible Assets: How the Interaction of Computers and Organizational Structure Affects Stock Market Valuations[END_REF][START_REF] Brynjolfsson | Intangible Assets: How the Interaction of Computers and Organizational Structure Affects Stock Market Valuations[END_REF][START_REF] Martinsons | The balanced scorecard: a foundation for the strategic management of information systemsDecision Support Systems[END_REF][START_REF] Martinsons | The balanced scorecard: a foundation for the strategic management of information systemsDecision Support Systems[END_REF][START_REF] Martinsons | The balanced scorecard: a foundation for the strategic management of information systemsDecision Support Systems[END_REF] entre outras.

Com relação aos aspectos intangíveis, Kaplan e [START_REF] Norton | The Balanced Scorecard-Measures That Drive Performances[END_REF] publicaram um trabalho onde discutiram a fragilidade de utilizar apenas aspectos financeiros para avaliar o desempenho de uma organização. Os autores argumentaram que o uso apenas de medidas de contabilidade financeira, como Retorno do Investimento (ROI, do inglês "Return On Investment") e payback, oferecem uma visão limitada e incompleta do desempenho do negócio e que pode prejudicar a criação do valor futuro do negócio. Como alternativa, apresentaram o "Balanced Scorecard" (BSC) como uma metodologia para guiar a mensuração do valor e de desempenho, que leva em consideração para a avaliação outros fatores além do aspecto financeiro, como por exemplo, a satisfação dos clientes, a melhoria dos processos internos e a capacidade de aprendizagem e crescimento.

Com a crescente informatização das rotinas e dos instrumentos de gestão, as empresas precisam contemplar na sua avaliação aspectos intangíveis que geram valor para a organização. O uso de sistemas de informação para alcançar os objetivos organizacionais tem crescido e com ele a necessidade de mensurar qual é o peso desse componente na avaliação do sucesso de projetos dessa natureza. Assim, Martinsons, Davison e Tse (1999) adaptaram o BSC como ferramenta para avaliar o desempenho de projetos baseados em sistemas de informação utilizando as perspectivas "valor para o negócio", "orientação ao usuário", "processos internos" e "prontidão para o futuro".

Há um entendimento de que projetos de implantação de sistemas de informação são mais amplos do que apenas colocar artefatos em execução, sua introdução altera a estrutura e a cultura da organização, mudando a forma como as pessoas pensam e trabalham [START_REF] Dwivedi | Research on information systems failures and successes: Status update and future directions[END_REF]. Um novo sistema também traz implicações políticas, uma vez que ele tem o potencial de permitir algumas situações e restringir outras, fazendo com que algumas pessoas ganhem e outras percam (ORLIKOWSKI; [START_REF] Orlikowski | Information technology and the structuring of organizations[END_REF]. Essas influências indicam que as principais questões associadas ao sucesso de implantações de sistemas de informação estão relacionadas à política, cultura e pessoas (MARKUS; TANIS; [START_REF] Markus | Enterprise resource planning: multisite ERP implementationsCommunications of the ACM[END_REF][START_REF] Soh | Enterprise resource planning: cultural fits and misfits: is ERP a universal solution?[END_REF][START_REF] Soh | Enterprise resource planning: cultural fits and misfits: is ERP a universal solution?[END_REF][START_REF] Soh | Enterprise resource planning: cultural fits and misfits: is ERP a universal solution?[END_REF].

Por outro lado, ao analisar fracassos, [START_REF] Sauer | Why Information Systems Fail: A Case Study Approach[END_REF] propôs que um sistema apenas pode ser considerado como um fracasso quando ocorre o cancelamento do seu desenvolvimento ou de sua operação. Com base neste critério de fracasso, os sistemas de informação se aproximam da abordagem dos sistemas naturais, onde os comportamentos observados são explicados em termos dos objetivos de sobrevivência. A sobrevivência de um sistema de informação é obtida por meio de recursos (financeiros, pessoas etc.) que apoiam a continuidade de sua operação, sendo assim, não pode ser considerado um fracasso enquanto continuar atraindo aportes de recursos [START_REF] Yeo | Critical failure factors in information system projects[END_REF].

A comparação do sucesso de sistemas de informação com a sobrevivência dos sistemas naturais é reforçada pelo fato de que as fases iniciais de concepção, construção, testes e implantação, representarem uma fração pequena do ciclo de vida destes sistemas. [START_REF] Lehman | Programs, life cycles, and laws of software evolution[END_REF] identificou que do total dos investimentos realizados com software nos Estados Unidos, 70% dos recursos eram destinados a manutenção (que considerou como qualquer tipo de alteração realizada no software após sua entrada em operação), número que foi posteriormente ampliado para até 80% [START_REF] Glass | Frequently forgotten fundamental facts about software engineering[END_REF]INCOSE, 2015).

Esse desequilíbrio chamou a atenção da comunidade científica e, a partir da década de 1970, pesquisadores começaram a investigar as possíveis causas para a demanda por investimentos constantes mesmo após a conclusão do desenvolvimento do software e de sua entrada em operação (BELADY; [START_REF] Belady | Programming System Dynamics or the Metadynamics of Systems in Maintenance and Growth[END_REF][START_REF] Belady | A model of large program development[END_REF][START_REF] Woodside | A mathematical model for the evolution of software[END_REF]. Estas investigações, juntamente com os avanços obtidos nas últimas décadas, deram origem a uma nova área de pesquisa na área de Engenharia de Software, denominada "Evolução de Software", e a consolidação das leis da evolução que descrevem abstrações dos comportamentos observados baseadas em modelos estatísticos [START_REF] Lehman | Programs, life cycles, and laws of software evolution[END_REF]RAMIL, 2006;[START_REF] Lehman | Programs, life cycles, and laws of software evolution[END_REF]. [START_REF] Lehman | Programs, life cycles, and laws of software evolution[END_REF] constatou que softwares, assim como sistemas naturais complexos, evoluem como resposta as reações e pressões sofridas do ambiente externo e originadas por mudanças nos padrões operacionais, funcionais e estruturais, o que inevitavelmente torna-os mais complexos, inflexível e resistente a mudanças. Para sobreviverem, os sistemas de informação devem manter sua adaptabilidade e capacidade de modificação, sendo que o nível que estas características são atingidas pode fazer toda a diferença para avaliar seu sucesso ou fracasso, retorno ou prejuízo.

Esse cenário faz da avaliação do sucesso de longo prazo de iniciativas envolvendo sistemas de informação em contextos empresariais dinamicamente complexos uma atividade não trivial. Torna-se uma questão estratégica para as organizações a avaliação sistemática a priori do impacto no sucesso de possíveis cenários e políticas de intervenções relacionas as fases do ciclo de vida destes sistemas.

Apesar dos avanços obtidos nas últimas décadas com relação à capacidade de processamento, custo de hardware e a aplicação do rigor científico e da engenharia ao processo de desenvolvimento de software, pouca atenção foi dada aos aspectos gerenciais (ABDEL-HAMID; [START_REF] Madnick | Lessons learned from modeling the dynamics of software development[END_REF]. Neste sentido, uma questão ainda não resolvida integralmente está relacionada à viabilidade de compreender, avaliar e antecipar os impactos que diferentes políticas de intervenção causam na avaliação de sucesso em projetos de sistemas de informação. A complexidade associada a estas iniciativas é caracterizada por envolverem interações entre componentes tecnológicos, pessoas, informações e questões organizacionais, que criam um contexto dinamicamente complexo, contento ciclos de feedback, acumulações e defasagens temporais entre causa e efeito, que apresentam comportamentos muitas vezes não são triviais e demandam soluções não intuitivas (GEORGANTZAS; [START_REF] Georgantzas | Information systems research with system dynamics[END_REF].

Devido a pluralidade dos temas envolvidos, diversos modelos foram propostos para avaliar e mensurar o sucesso de iniciativas envolvendo sistemas de informação e uma variedade de dados empíricos foi apresentada. A falta de um consenso da comunidade científica, traz à tona a necessidade de identificar o panorama da produção científica acerca do tema. Sendo assim, o objetivo principal deste trabalho é identificar o cenário da literatura referente a avaliação de sucesso de projetos envolvendo sistemas de informação, descrevendo tendências e identificando os principais temas abordados, autores, trabalhos e referências.

O presente estudo está organizado em cinco seções. Além da introdução apresentada, que contextualizada a problemática de pesquisa, na seção 2 é apresentado o método de pesquisa juntamente com os objetivos principal e secundários do trabalho. A seção 3 apresenta os resultados obtidos com a análise bibliométrica e a codificação e análise de conteúdo, estes resultados são em seguida discutidos na seção 4. Finalmente, a seção 5 destaca os principais achados do trabalho, as conclusões, limitações e sugestões de trabalhos futuros.

MÉTODO DE PESQUISA

Conforme mencionado na seção introdutória, a abordagem metodológica selecionada para este trabalho foi a de revisão sistemática de literatura, onde foi privilegiada a triangulação de dados entre a análise bibliométrica, análise de conteúdo e codificação dos principais trabalhos da área.

A análise bibliométrica é uma técnica que possibilita avaliar a existência de padrões na literatura sobre um determinado tema, identificando quais são os principais periódicos que se dedicam à promoção e discussão sobre determinado assunto, a evolução destas publicações ao longo do tempo e quais os assuntos mais relacionados à temática pesquisada. Além disso a abordagem possibilita realizar a análise das citações, o que permite identificar os trabalhos que mais impactaram a área por meio da construção das redes de citações entre os trabalhos selecionados e entre esses e as referências mais citadas [START_REF] Neely | The evolution of performance measurement research: Developments in the last decade and a research agenda for the nextInternational[END_REF]PRASAD;[START_REF] Prasad | Publication patterns concerning the role of teams/groups in the information systems literature from 1990 to 1999[END_REF].

Uma outra possibilidade que a análise bibliométrica permite é a realização de análise quantitativa das citações entre os artigos, que pode ser feita por meio da contagem do número de citações individuais de cada texto, bem como da análise das referências bibliográficas utilizadas pelos artigos mais citados e a análise das referências bibliográficas que permite ao pesquisador a identificar os fenômenos de agrupamento bibliométrico, e as relações significativas entre dois artigos com base no número de referências em comum [START_REF] Kessler | Bibliographic Coupling Between Scientific Papers[END_REF].

Objetivos principais e secundários

O objetivo principal deste trabalho é traçar o panorama da literatura científica em relação ao tema de avaliação de sucesso em projetos de sistemas de informação, utilizando a análise bibliométrica e a análise e codificação de conteúdo dos artigos selecionados, descrevendo tendências e os principais temas abordados.

Os objetivos secundários deste trabalho são identificar quais são os principais periódicos que constituem o fórum de discussão do assunto, quem são os principais autores, se houve crescimento no número de publicações ao longo do período analisado, quais trabalhos que mais influenciaram as pesquisas e quais os principais tópicos estudados.

Alinhado aos objetivos da pesquisa, a abordagem metodológica selecionada foi a de revisão sistemática da literatura, mesclando a análise bibliométrica [START_REF] Ikpaadhindi | An overview of bibliometric: its measurements, laws and ther application[END_REF] e a análise de conteúdo (DURIAU; REGER; PFARRER, 2007), que são complementares (CARVALHO; FLEURY; LOPES, 2013).

Amostragem

Para a coleta da amostra de artigos foi utilizada a base de dados "ISI Web of Knowledge", utilizando a combinação dos termos "("information*" OR "technolog*" OR "software*" OR "IS") AND ("success*" OR "acceptance" OR "satisfaction")" obtendo um conjunto de 1.177 artigos.

Deste resultado inicial foram selecionados os resultados do tipo "Article", devido a passarem por uma avaliação por pares antes de sua publicação e por conterem as informações necessárias para a análise bibliométrica (CARVALHO; LOPES; MARZAGÃO, 2013), os trabalhos publicados no idioma inglês e que estavam classificados nas categorias do "Web of Science" referentes à "Computer Science", "Business Economics", "Engineering", "Information Science Library Science" e "Operation Research Management Science". A partir da aplicação desses critérios, chegou-se à um subconjunto da amostra inicial contendo 667 artigos.

Em seguida, procedeu-se a leitura e análise dos títulos dos trabalhos. Os títulos foram lidos e classificados separadamente pelos autores desse trabalho e os resultados da avaliação individual foram consolidados. Os itens que apresentaram divergência na classificação, quanto a manter ou não o trabalho para análise, foram discutidos até que se chegasse a um consenso ou, quando o consenso não foi obtido, foram mantidos para serem submetidos à análise de conteúdo. Desta análise foram excluídos 140 trabalhos que não estavam associados a temática deste trabalho, reduzindo para 527 artigos na amostra.

Para ter certeza que os artigos selecionados para a mostra final realmente tinham como centro da sua discussão a problemática deste trabalho, partiu-se para a leitura dos resumos dos 527 artigo seguindo o mesmo procedimento adotado para a avaliação dos títulos de onde chegou-se ao conjunto final contendo 407 artigos.

Após a triagem inicial, os trabalhos foram analisados em duas etapas: análise bibliométrica e análise de conteúdo e codificação.

Análise bibliométrica

Para identificar o cenário de publicações que abordam o tema da avaliação de sucesso no contexto de projetos de sistemas de informação foi utilizada a análise bibliométrica, que pode ser definida como um conjunto de técnicas que visam quantificar o processo de comunicação escrita [START_REF] Ikpaadhindi | An overview of bibliometric: its measurements, laws and ther application[END_REF]. Esta técnica permite identificar os autores com maior número de trabalhos publicados, os periódicos mais alinhados à temática, a evolução das publicações ao longo do tempo, os trabalhos mais impactantes em um determinado conjunto de trabalhos e quais são as áreas mais relacionadas ao tema pesquisado (PRASAD; TATA, 2005).

Neste trabalho utilizou-se, para a construção das redes de citação entre artigos, palavras chaves e artigos para referências, o software Sci2Tool versão 1.1 (SCI2 TEAM, 2009). Para a análise dos trabalhos que mais impactaram a área, optou-se por elaborar a rede de artigos para referência, pois ela fornece não só um panorama dos artigos mais citados na amostra mas também de suas referências mais citadas, permitindo identificar aqueles que contribuíram para articular os fundamentos teóricos da área.

Em seguida, o período avaliado pelo trabalho (1976 a 2015) foi dividido em quatro subperíodos iguais e consecutivos de 10 anos: 1976-1985, 1986-1995, 19966-2005, 2006-2015 e o estudo foi repetido para identificar mudanças de influências que podem ter ocorrido ao longo do tempo (RAMOS-RODRÍGUEZ; RUÍZ-NAVARRO, 2004).

Análise de conteúdo e codificação

A análise de conteúdo permite flexibilidade analítica na definição dos códigos, que depois são usados nas estatísticas de ocorrência dos códigos e suas relações, bem como, nas análises qualitativas de interpretação (DURIAU; REGER; PFARRER, 2007). Neste trabalho, a análise de conteúdo foi utilizada para identificar os principais temas e lacunas na literatura, evidenciar os principais propósitos dos artigos, as dimensões de sucesso exploradas, a unidade de análise do trabalho, tipo de pesquisa, natureza dos dados, o avanço do trabalho nas etapas de modelagem e as ferramentas apresentadas.

Para a análise de conteúdo e codificação foram selecionados os 20 artigos, da amostra de 407 itens analisados, que acumularam desde o momento de sua publicação o maior número de citações de acordo com o indicador fornecido pelo "ISI Web of Knowledge". Estes trabalhos foram lidos integralmente e classificados de acordo com a Tabela 1 (CARNEVALLI; MIGUEL, 2008) com o intuito de identificar padrões de publicações, as dimensões exploradas do "Balanced Scorecard (BSC)" adaptado para contexto de sistemas de informação (MARTINSONS; DAVISON; TSE, 1999), possíveis aglomerados e eventuais lacunas na área.

Tabela 1 -Codificação utilizada para classificar os artigos. Primeiro, os trabalhos foram organizados em dois grupos de acordo com o tipo do estudo: conceitual (concepção teórica, modelagem, revisão da literatura e simulação) ou empírica (survey, estudo de caso, experimental e pesquisa-ação). Em seguida, os trabalhos foram classificados de acordo com a filiação dos autores dos trabalhos, com a natureza das variáveis utilizadas na pesquisa (quantitativa e qualitativa) e, por fim, os trabalhos foram avaliados quanto às dimensões exploradas de avaliação utilizando como proxy da análise o BSC adaptado para o contexto de sistemas de informação.

RESULTADOS Análise bibliométrica

Os 407 artigos selecionados foram publicados em 130 periódicos distintos. A Tabela 2 apresenta o número de publicações por periódico e a quantidade de publicações por subperíodo analisado (P1 -1976-1985, P2 -1986-1995, P3 -1996-2005 e P4 -2006-2015), foram selecionados os quinze periódicos que concentram aproximadamente 50% dos trabalhos e que constituem o principal fórum de discussão sobre o tema.

Depois do cruzamento dos dados foi possível identificar alguns aspectos interessantes com relação à produção científica abordando o tema. Entre os quinze principais periódicos identificados, treze deles possuem o fator JCR (do inglês "Journal Citation Reports") acima de 1, o que demostra a relevância das pesquisas publicadas e a vinculação em periódicos de impacto para a comunidade científica.

Tabela 2 -Periódicos com maior número de publicações sobre o tema. Além dos periódicos ligados à área de Saúde, outra área que apresentou um crescimento sensível a partir do último período avaliado (P4) é a área de Educação com o periódico "COMPUTERS & EDUCATION", que até 2005 também não foi identificado trabalho e de 2006 a 2015 aparece com 13 publicações em um periódico com fator JCR acima de 2 pontos. Um fato que explica o crescimento da contribuição da área de Educação nessa discussão são as mudanças que o sistema de ensino e aprendizagem vem passando com a implementação de sistemas de informação na prática de docência. Atualmente, a questão de "Ensino à Distância" (EAD) e uso de computadores no ensino é quase uma realidade no mundo todo, existe uma grande mobilização global na utilização de ferramentas sistemas de informação para o ensino de milhares de cidadãos pelo mundo que não teriam disponibilidade de tempo e recursos para realização de um curso presencial.

Para investigar as mudanças de influência das referências citadas pelos trabalhos da amostra selecionada, identificando perdas e ganhos ao longo dos períodos avaliados e retratar o panorama desta evolução, foi construída a Tabela 3. Esta tabela apresenta para os quatros subperíodos definidos a quantidade absoluta de citações recebidas (coluna "Q"), a quantidade relativa de citações recebidas (coluna "%") e a variação de influência dos trabalhos entre os períodos subjacentes (coluna "Δ").

Tabela 3 -Frequência de citações de referência acumulada e por período analisado. Fonte: Adaptado de Ramos-Rodríguez e Ruíz-Navarro ( 2004).

Q % Q % Q % P1 -P2 Q % P2 -P3 Q % P3 -P4
As informações apresentadas na Tabela 3 também são apresentadas graficamente na Figura 1, para facilitar a identificação das principais variações de influência das referências citadas pelos trabalhos avaliados.

Figura 1 -Variação da influência das 20 referências mais citadas pela amostra nos subperíodos avaliados.

Fonte: Adaptado de Ramos-Rodríguez e Ruíz-Navarro (2004).

Com a avaliação da variação de citações entre os períodos P1 (1976)(1977)(1978)(1979)(1980)(1981)(1982)(1983)(1984)(1985) e P2 (1986)(1987)(1988)(1989)(1990)(1991)(1992)(1993)(1994)(1995) é possível identificar que os trabalhos que mais atraíram a atenção foram: Ives, Olson e Baroudi (1983), que por meio de uma revisão de literatura propuseram um instrumento para avaliar a satisfação de usuários denominada "User Information Satisfaction" (UIS), em seguida comparam com outros existentes até então e apresentam uma validação empírica da proposta; e Bailey e Pearson (1983), onde os autores apresentaram um questionário composto por 39 fatores que identificaram afetarem a satisfação dos usuários na adoção de sistemas de informação, em conjunto com uma comprovação empírica da ferramenta proposta.

Com relação à variação entre os períodos P2 (1986-1995) e P3 (1996-2005), dois trabalhos publicados no final da década de 80 começaram a atrair a atenção dos pesquisadores da área. [START_REF] Davis | Perceived Ease of Use, and User Acceptance of Information Technology[END_REF] apresentou e uma proposta de uma nova ferramenta de avaliação em escalas de duas variáveis que possivelmente são determinantes fundamentais para a aceitação dos sistemas de informação pelos usuários, são elas: utilidade e a facilidade de uso percebidas. Após validar empiricamente a proposta, o autor simplificou o instrumento de avaliação reduzindo para seis itens com escalas para medir cada uma das variáveis e concluiu que a análise por regressão sugere que a percepção de facilidade de uso é um antecedente causal da utilidade percebida.

-40.0% -30.0% -20.0% -10.0% 0.0% 10.0% 20.0% 30.0% 40.0% 50.0% Ainda no mesmo ano, Davis, Bagozzi e Warshow (1989) publicaram o artigo "User Acceptance of Computer Technology: A Comparison of Two Theoretical Models" onde reforçam a ideia de incluir o usuário final no processo da avaliação de sucesso do sistema comparando dois modelos, o "Modelo de Aceitação da Tecnologia" (TAM, do inglês "Technology Acceptance Model") e o "Teoria da Ação Racional" (do inglês, "Theory of Reasoned Action"). O primeiro consiste em uma especialização do segundo modelo para o contexto particular de aceitação de tecnologias e define a priori as crenças que influenciam as atitudes [START_REF] Davis | A Technology Acceptance Model for Empirically Testing New End-User Information Systems: Theory and Results[END_REF], onde a utilização é determinada pela intenção de comportamentos, que por sua vez é influenciado pelas atitudes e percepção de utilidade do sistema. Em ambos os modelos o comportamento atual, ou a utilização do sistema no caso do TAM, apenas pode ser influenciada por variáveis externas de forma indireta, influenciando no primeiro momento crenças, atitudes e intenções de comportamentos. No trabalho, os autores comprovaram a influência das variáveis de percepção de utilidade e facilidade na intenção de uso e concluíram que apesar de simples, estes modelos são ferramentas capazes de prever a aceitação de sistemas por parte dos usuários e guiar as intervenções gerenciais na redução do problema de tecnologias subutilizadas.

Na avaliação da variação de influência ocorrida entre os períodos P3 (1996-2005) Fonte: Autoria própria.

Com base nos resultados obtidos pela análise de conteúdo e codificação dos trabalhos foi possível identificar a predominância de estudos experimentais (75%), com testes de validação de modelo de avaliação de sucesso, e 70% são de natureza quantitativa. Um outro dado interessante que a análise de conteúdo evidenciou é que 85% dos pesquisadores que discutiram esse assunto são professores universitários que desenvolveram pesquisas nas suas respectivas universidades e majoritariamente estavam ligados às universidades norte-americanas.

DISCUSSÃO DOS RESULTADOS

A partir dos dados coletados da amostra contendo 407 artigos, foi construída a rede de citações entre artigos e entre artigos e referências com o objetivo de identificar os trabalhos que mais influenciaram a área, ou seja, aqueles que foram os mais citados pelos demais trabalhos. Após a construção da rede foi feita sua poda para selecionar os artigos de acordo com maior grau (quantidade de citações) e o resultado é apresentado na Figura 2.

O tamanho dos nós representa a quantidade de citações recebidas dos artigos que compõem a amostra, número indicado entre colchetes. É importante destacar que além dos trabalhos mais citados que estão dentro da amostra da pesquisa, cujos nós estão representados por círculos em azul, foi identificado também um número considerável de trabalhos externos (que não fizeram parte da amostra, mas foram citados), cujo nós são representados por quadrados em vermelho.

Figura 2 -Rede de artigos para referências.

Fonte: Autoria própria.

Dos trabalhos mais citados que fazem parte da amostra (círculos azuis) os dois que mais se destacam são o de [START_REF] Davis | Perceived Ease of Use, and User Acceptance of Information Technology[END_REF], com 145 citações, e de Davis Bagozzi e Wharshow (1989), com 142 citações, ambos discutidos anteriormente na seção "0 -Análise bibliométrica".

Em seguida, com 102 citações, vem o trabalho de Venkatesh e [START_REF] Venkatesh | A Theoretical Extension of the Technology Acceptance Model: Four Longitudinal Field StudiesManagement Science[END_REF], onde os autores propuseram uma extensão teórica do "Modelo de Aceitação de Tecnologia" (TAM), que denominaram "TAM2", para explicar as percepções de utilidade e intenção de uso em termos da influência social e processos cognitivos instrumentais. Em seguida, o modelo estendido foi testado utilizando dados longitudinais coletados em três momentos: pré implementação, um mês e três meses pós implementação. Após esse teste, o resultado indicou que o modelo estendido foi fortemente apoiado nos três pontos de medição, respondendo significativamente pela variância nas percepções de utilidade e intenções de uso. Também foi evidenciado que processos de influência social (norma subjetiva, voluntariedade e imagem) e processos cognitivos instrumentais (relevância do trabalho, qualidade percebida dos resultados, demonstração de resultado, e facilidade de uso percebida) influenciaram significativamente a aceitação do usuário.

Com relação aos trabalhos externos da amostra referenciados (quadrados vermelhos), os cinco que se destacam pela quantidade de citações, que por consequência mais influenciaram a área e, por isso, são destacados aqui como: É importante ressaltar que o primeiro trabalho de [START_REF] Davis | A Technology Acceptance Model for Empirically Testing New End-User Information Systems: Theory and Results[END_REF], que corresponde a sua tese doutorado e onde propôs o modelo TAM e também é o autor que acumula a maior quantidade de citações em trabalhos contidos na amostra avaliada, se inspirou nas obras de Fishbein e Ajzen (1975) e Ajzen e Fishbein (1980) com modelo de "Teoria de Ação Racional" (TRA) cuja a origem vem da psicologia social com foco em estudar, prever e explicar comportamentos humanos. Ou seja, [START_REF] Davis | A Technology Acceptance Model for Empirically Testing New End-User Information Systems: Theory and Results[END_REF] introduziu uma adaptação do TRA ao seu "Modelo de Aceitação de Tecnologia" (TAM), cujo foco é especificamente concebido para explicar o comportamento de aceitação e uso de tecnologias. O TAM usa TRA como base teórica para especificar as relações causais entre duas crenças principais de utilidade percebida e percepção de facilidade de uso em relação as atitudes, intenções e comportamentos. Por essa razão, justifica-se a presença com grande número de citações das obras de Fishbein e Ajzen (1975), com 87 citações, e Ajzen e [START_REF] Ajzen | Understanding Attitudes and Predicting Social Behavior[END_REF], com 81 citações, como autores que também influenciaram a área.

Quanto ao trabalho de Taylor e Todd (1995), nele foi feita uma comparação entre o modelo TAM com duas variações da "Teoria do Comportamento Planejado" (TPB, do inglês "Theory of Planned Behaviour") para avaliar qual abordagem melhor explica o uso da tecnologia de informação. O resultado do trabalho, obtido utilizando a modelagem por equações estruturais, indicou que os três modelos são equivalentes na capacidade de explicar os comportamentos observados porém, ao decompor a estrutura de crenças, o TPB teve um desempenho melhor em explicar as intenções de comportamento uma vez que foca em fatores que são mais prováveis de influenciar o uso com a aplicação de estratégias de projeto e implementação de sistemas de informação.

A segunda rede utilizada para a análise foi a de palavras-chave, que após sua construção foi feita a poda da rede (com base no índice de centralidade) para exibir os vinte termos mais centrais, conforme apresentado na Figura 3. A espessura da ligação entre as linhas representa a intensidade das ligações entre os nós e o tamanho dos nós a quantidade de ocorrência das palavras-chave.

Figura 3 -Rede de palavras chaves.

Fonte: Autoria própria.

As palavras chaves foram agrupadas em quatro subconjuntos de acordo com o grupo temático: 1) foco no usuário, 2) dimensões associadas ao "Modelo de Aceitação da Tecnologia" (TAM), 3) áreas de aplicação, 4) projetos e gestão de sistemas de informação e 5) métodos de pesquisa.

A Tabela 5 apresenta os índices de centralidade dos nós que indicam os termos mais relacionados com os termos de buscas utilizados para construção da amostra de artigos.

Tabela 5 -Índice de centralidade das palavras chaves. Fonte: Autoria própria.

Palavra-chave

As palavras-chave centrais identificadas pela análise da rede reforçam o interesse das pesquisas em torno do usuário, com a presença de termos como "uso", "características do usuário", "usuário final", "adoção" e "confiança". A influência do "Modelo de Aceitação de Tecnologia" (TAM) também é refletida nas palavras chaves contendo termos, como por exemplo, "uso", "utilidade percebida" e "facilidade de uso percebida" (crenças e comportamento do modelo). Áreas de aplicação que mais atraíram a atenção de pesquisas também são evidenciadas e além do interesse em contextos empresariais ("sistemas de informação empresariais"), nota-se a presença de termos relacionados áreas identificadas na seção "0 Análise bibliométrica" ("sistemas de informação de saúde" e "aprendizagem eletrônica").

Nota-se também a presença de termos relacionados a gestão e projetos envolvendo sistemas de informação, como por exemplo, "desenvolvimento de sistemas de informação", "serviços", "gestão de sistemas de informação", "fatores críticos de sucesso", "projeto" e "gestão estratégica".

A associação de projetos desta natureza com iniciativas de inovação, como apontado na introdução deste trabalho, também é evidenciada com a presença do termo ocupando o quarto lugar com relação a centralidade da rede construída a partir das palavras chaves. Diversos trabalhos comparam o processo de adoção de sistemas de informação com o processo de difusão de inovações, fazendo a analogia da "facilidade de uso" e "utilidade" com a "complexidade" e "vantagem relativa" (DAVIS; BAGOZZI; [START_REF] Davis | User Acceptance of Computer Technology: A Comparison of Two Theoretical ModelsManagement Science[END_REF][START_REF] Davis | Perceived Ease of Use, and User Acceptance of Information Technology[END_REF][START_REF] Mathieson | Predicting user intentions: Comparing the technology acceptance model with the theory of planned behavior[END_REF][START_REF] Moore | Development of an instrument to measure the perceptions of adopting an information technology innovation[END_REF][START_REF] Moore | Development of an instrument to measure the perceptions of adopting an information technology innovation[END_REF][START_REF] Taylor | Understanding information technology usage: A test of competing models[END_REF][START_REF] Taylor | Understanding information technology usage: A test of competing models[END_REF].

O grupo temático relacionado a métodos de pesquisa, contendo os termos "modelagem por equações estruturais", "survey" e "mensuração", reforçam a influência identificada anteriormente de Fornell e Larcker (1981) e o interesse dos trabalhos em avaliar as hipóteses relacionadas à influência de fatores no sucesso dos modelos propostos e na estimativa de parâmetros associados a essas influências.

Em relação à análise sobre a presença das dimensões do BSC abordadas nesses estudos, identificou-se que todos avaliaram as perspectivas "orientação para o usuário" e "processos internos". Esse fato traz à tona a preocupação inicial de implementação de sistemas de informação na estrutura da gestão das organizações que está ligada à questão da melhoria de processos internos com objetivo de melhorar a qualidade da gestão (caso dos hospitais, deixando sistema manual para informatizado) e a satisfação dos clientes (neste caso usuários).

Embora a preocupação desses trabalhos ter se centrado na melhoria dos processos internos com vista a satisfazer melhor os clientes, a dimensão de "prontidão para o futuro" (originalmente "aprendizado e crescimento") não é abordada com maior ênfase, exceto no trabalho de [START_REF] Davis | User acceptance of information technology: system characteristics, user perceptions and behavioral impacts[END_REF]. Ou seja, existe uma lacuna em relação ao aprendizado gerado a partir dos modelos implementados para a melhoria dos processos internos e a capacidade de inovação. 

CONCLUSÃO

Utilizando a técnica e ferramentas de bibliometria, o presente trabalho se propôs a investigar o panorama atual sobre pesquisas relacionadas à avaliação de sucesso em projetos de sistemas de informação e sua evolução ao longo do tempo. Foram avaliados um total de 407 artigos acadêmicos, publicados no período de 1976 até 2015 e em 130 periódicos distintos. Na análise da produção entre os períodos foi identificado um crescimento do número de publicações de aproximadamente 85% na comparação das últimas duas décadas, demonstrando um crescimento do interesse sobre o assunto, que ele se mantém no foco das discussões e que ainda é um tema atual.

A partir da década 80, com a tese de doutorado de [START_REF] Davis | A Technology Acceptance Model for Empirically Testing New End-User Information Systems: Theory and Results[END_REF] (1992,2003) que apresentou um crescimento no número de citações principalmente no último período avaliado (P4 -2006-2015).

Os vinte artigos que mais impactaram a área foram desenvolvidos no ambiente acadêmico, por autores vinculados às universidades e principalmente instituições norte-americana. Os estudos sobre esse tema se concentraram nas dimensões de processos internos e do cliente, que nesse caso é visto como o usuário do sistema.

Também evidenciou uma lacuna na discussão acadêmica sobre a avaliação de sucesso nos projetos baseados em sistemas de informação. Apesar de se concentrar na abordagem interna na melhoria de processos de gestão, são escassos os trabalhos que discutem a questão sobre o aprendizado e crescimento, ou seja, o conhecimento gerado a partir da implementação de sistemas de informação com vistas à melhoria de processos internos e que muitas vezes é incorporado nas boas práticas e nos processos padronizados pela empresa não é levado em consideração.

Uma outra dimensão que os autores não aprofundaram é a financeira. Ou seja, ao avaliar o sucesso de projetos de adoção de sistemas de informação merece ser vista também sob ponto de vista de impacto nos resultados financeiros da organização. Como alguns trabalhos abordaram e reconheceram, a adoção de um sistema de informação pelas organizações não é um questão trivial e se estendem por longos períodos antes de manifestarem os resultados esperados.

Este trabalho inevitavelmente possui limitações, algumas originadas do projeto da pesquisa e outras intrínsecas à análise bibliométrica. Entre as principais restrições pode ser citada a necessidade de outros estudos publicados para validarem empiricamente os resultados da análise de conteúdo e codificação dos artigos, a divisão do período de análise em apenas quatro intervalos na avaliação da mudança de influência pode ter ocultado mudanças ocorridas dentro do subperíodo, a utilização de apenas uma base para extração da amostra de publicações e a subjetividade associadas à análise bibliométrica, como por exemplo, as podas realizadas nas redes que reduzem as análises a um subconjunto dos dados disponíveis e a utilização do critério de quantidade de citações para a identificação dos trabalhos mais influentes pode ter deixado de lado trabalhos recentes que ainda não acumularam citações.

Trabalhos futuros podem ser conduzidos para confrontar e validar empiricamente os resultados apresentados neste trabalho, expandindo a busca por publicações para abranger outras bases de dados e outros tipos de publicações técnicas e incluir eventuais trabalhos que tenham sido deixado de lado por este estudo. Outras técnicas de análise, como por exemplo, a análise semântica ou outras estruturas de codificação podem ser aplicadas para identificar outras características não tratadas.

  do Balanced Scorecard BS1 -Valor para o negócio BS2 -Orientação ao usuário BS3 -Processos internos BS4 -Prontidão para o futuro.de Carnevalli e Miguel (2008).

A

  análise da Tabela 2, que retrata a evolução de publicações ao longo do tempo, evidencia que o tema vem ganhando atenção nas discussões científicas e no período P4 (2006-2015) acumulou mais de um quarto do total dos trabalhos selecionados. Apesar dos quatro principais periódicos serem voltados para a gestão de sistema de informações e contribuírem com aproximadamente 25% das publicações ("INFORMATION & MANAGEMENT", "MIS QUARTERLY", "INTERNATIONAL JOURNAL OFINFORMATION MANAGEMENT" e "JOURNAL OF COMPUTER INFORMATION SYSTEMS"), destaca-se o aparecimento de novas áreas nessa discussão, nomeadamente "INTERNATIONAL JOURNAL OF MEDICAL INFORMATICS" e "CIN-COMPUTERS INFORMATICS NURSING" que até 2005 não apresentaram publicações sobre o tema e no período P4 (2006-2015) somara juntos 20 trabalhos, o que representa quase 10% da produção no período.

  e outros trabalhos do autor que somados acumulam mais de dez mil citações, proliferam trabalhos baseados no "Modelo de Aceitação da Tecnologia" (TAM) iniciando a polarizar das discussões sobre o tema. Desde então, diversos trabalhos foram publicados testando empiricamente o modelo, propondo alterações, extensões e fazendo críticas. Junto com o TAM, outros três modelos compõem a base teórica dos trabalhos da área: a "Teoria da Ação Racional" (TRA), que serviu de base para a proposição do modelo TAM; a "Teoria do Comportamento Planejado" (TPB), que foi utilizado como modelo de controle para avaliar o modelo TAM e também serviu de inspiração para propor o modelo estendido TAM2; e por fim o modelo proposto por DeLone e McLean

  

  

PERIÓDICO JCR 2013 P1 1976 -1985 P2 1986 -1995 P3 1996 -2005 P4 2006 -2015 Total

  

	INFORMATION & MANAGEMENT	1.788	2	14	17	13	46
	MIS QUARTERLY	5.405	1	6	3	8	18
	INTERNATIONAL JOURNAL OF INFORMATION MANAGEMENT	2.042	0	2	5	10	17
	JOURNAL OF COMPUTER INFORMATION SYSTEMS	0.742	0	2	7	6	15
	COMPUTERS & EDUCATION	2.630	0	0	0	13	13
	BEHAVIOUR & INFORMATION TECHNOLOGY	0.839	0	1	3	9	13
	DECISION SUPPORT SYSTEMS	2.036	0	0	5	7	12
	INFORMATION SYSTEMS RESEARCH	2.322	0	2	6	3	11
	INTERNATIONAL JOURNAL OF MEDICAL INFORMATICS	2.716	0	0	0	10	10
	CIN-COMPUTERS INFORMATICS NURSING	0.812	0	0	0	10	10
	DECISION SCIENCES	1.561	0	4	6	0	10
	JOURNAL OF MANAGEMENT INFORMATION SYSTEMS	1.925	0	0	4	3	7
	JOURNAL OF THE ASSOCIATION FOR INFORMATION SYSTEMS	1.250	0	0	0	7	7
	EUROPEAN JOURNAL OF INFORMATION SYSTEMS	1.654	0	0	5	2	7
	INTERNATIONAL JOURNAL OF HUMAN-COMPUTER STUDIES	1.165	0	0	4	3	7
	OUTROS		14	20	54	116	204
	TOTAL		17	51	119	220	407

Fonte: Autoria própria.

  Delone e McLean (1992) com 104 citações, Fornell e Larcker (1981) com 97 citações, Fishein e Ajzen (1975) com 87 citações, Taylor e Todd (1995) com 82 citações e Ajzen e Fishbein (1980) com 81 citações.O trabalho de DeLone e[START_REF] Delone | Information Systems Success: The Quest for the Dependent Variable[END_REF], com o título "Information Systems Success: The Quest for the Dependent Variable", propôs um modelo de avaliação de sucesso de sistemas de informação onde depois de um extenso levantamento bibliográfico sobre o tema, identificaram seis dimensões fundamentais para avaliação, nomeadamente: qualidade de sistema, informação de qualidade, uso, satisfação do usuário, impacto sobre o usuário e impacto sobre a organização.

	Este modelo foi revisado posteriormente (DELONE; MCLEAN, 2003) para incluir a dimensão
	da qualidade do serviço e unificou as dimensões de impacto individual e impacto organizacional
	em um novo constructo denominado benefícios gerados.