Ferramentas de Análise de Dados para Expansão de Empresas nos Dias Atuais

Instituto Federal do Ceará X – IFCEIFX ______________________________ Prof. Instituto Federal do Ceará X– IFCEIFX Estado do CearáX, 12 de maio de 2022 RESUMO A produção massiva de dados (Big Data), impõe novos desafios técnicos, entre eles: A coleta, armazenamento, análise, visualização e tomada de decisões estratégicas, de acordo com os dados coletados. Nesse novo cenário de sobrecarga de informações, as empresas devem adotar novas ferramentas tecnológicas para aplicar à inteligência de negócios. É por isso que o presente trabalho de conclusão de curso teve como objetivo principal fazer uma revisão de literatura sobre ferramentas de análise de dados para expansão de empresas atualmente, levando-se em consideração o uso de ferramentas como Big Data e Python. PALAVRAS-CHAVE: Tecnologia de informação.

SUMÁRIO Lista de Figuras. CAPÍTULO 1. Introdução. Objetivos. Aspectos Metodológicos. Considerações finais. REFERÊNCIAS BIBLIOGRÁFICAS. Lista de figuras Figura 01: Representação de dados estruturados e não estruturados. Figura 02: Slogan da GraphLabGreate. Figura 03: Logo tipo da ferramenta Pandas. AMARAL, 2017). As organizações deverão colocar à disposição dos usuários e clientes, as capacidades de linguagem natural, processamento de informações estruturadas e não estruturadas, com compreensão do contexto, com análise sentimental das informações, para melhor assessorar o cliente. A computação cognitiva será o centro nevrálgico das organizações e o modo de interação dos clientes nos canais digitais, bem como um consultor para os canais físicos. Essa nova norma na experiência do cliente, produzida pelo advento das novas tecnologias, faz com que as entidades estatais precisem como pilar fundamental disponibilizar não apenas dados abertos, mas também informações não estruturadas, que permitem impactar os objetivos estratégicos, o cumprimento da missão e a melhoria da satisfação dos serviços prestados aos cidadãos.

CRUZ, 2018) 1. Os resultados serão apresentados sobre forma qualitativa, a partir da coleta de informações de fontes primárias e secundárias. Segundo Lakatos e Marconi: [. fontes secundárias, abrange toda bibliografia já tornada pública em relação ao tema de estudo, desde publicações avulsas, boletins, jornais, revistas, livros, pesquisas, monografias, teses, material cartográfico etc. Dessa forma, a pesquisa bibliográfica não é mera repetição do que já foi dito ou escrito sobre certo assunto, mas propicia o exame de um tema sob novo enfoque ou abordagem, chegando a conclusões inovadoras (LAKATOS, MARCONI, 2010, p. Reúnem-se os materiais selecionados, organizando as principais informações, e elas serão empregadas na elaboração dos resultados e discussões desse trabalho. Esta atividade permite melhorar a tomada de decisão de empresas, entidades e instituições em geral.

A análise de dados é essencial para o cumprimento dos objetivos de todos os órgãos governamentais, pois permite obter resultados mais efetivos e de forma mais eficiente. CALDAS; SILVA, 2016) O crescente volume de dados e sua natureza cada vez mais diversificada nos permitem ter informações mais enriquecedoras para a tomada de decisão, porém, também podem paralisar a organização, uma vez que uma quantidade tão grande de informações tem causado armazenamento e processamento insuficientes, e é aí que entra o processamento de Big Data, pois permite armazenar e examinar grandes volumes de dados em alta velocidade, com o objetivo de extrair padrões e relacionamentos desconhecidos e úteis para o entendimento de o funcionamento e aperfeiçoamento da instituição. AMARAL, 2017). Uma definição para big data é dada por Mayer-Schonberg e Cukier (2013) que se refere a este como o processo de extração da informação de qualidade a partir de um grande volume de informação.

AMARAL, 2017). O Big Data está focado, principalmente, em conjunto de dados extremamente grandes, gerados a partir de processos e práticas tecnológicas, tais como mídia social, tecnologias operacionais, acessos à Internet e fontes de informações distribuídas, telefonia, etc. De maneira mais simplista, a ideia de Big Data também pode ser compreendida como a análise de grandes quantidades de dados para a geração de resultados importantes que, em volumes menores dificilmente seriam alcançados. CALDAS; SILVA, 2016, p. Dentro das fontes de dados utilizadas estão os dados estruturados, que estão em um formato bem definido; nestes são encontrados em bancos de dados relacionais e planilhas. CALDAS; SILVA, 2016) Embora seja verdade que a tecnologia continua a produzir avanços sem precedentes em ritmo acelerado, a transformação digital só pode nos dar todo o seu potencial se aproveitarmos o poder dos dados que ela fornece.

Como os cientistas de dados têm uma compreensão profunda dos dados, eles trabalham muito bem em organizações líderes em direção ao aprendizado profundo, aprendizado de máquina e adoção de Inteligência Artificial (IA), já que as empresas geralmente têm os mesmos objetivos orientados por dados. RAUTENBERG; CARMO; 2019) Todos os atores de uma empresa devem conhecer a importância e o valor dos cientistas de dados, pois para gerar melhores análises e modelos preditivos é preciso ter diferentes perspectivas que gerem benefícios reais para as empresas. Hoje, líderes empresariais citam os dados como um dos principais recursos e um diferencial fundamental para as empresas, ao lado de recursos básicos como terra, mão de obra e capital. É por isso que é crucial para as empresas que desejam executar um projeto baseado em IA ter um cientista de dados na equipe para personalizar algoritmos, aproveitar ao máximo os dados e tomar decisões centradas em dados.

A ciência de dados, e especialmente o aprendizado de máquina, são ótimos para resolver problemas complexos e ricos em dados. As tendências podem ser facilmente descobertas pela Ciência de dados, resultando em tendências de mercado, novas ideias e problemas que ainda não foram abordados. RAUTENBERG; CARMO; 2019). Dados abertos para expandir o negócio As organizações públicas oferecem uma grande quantidade de informações que constituem a matéria-prima ideal para o lançamento de um negócio. HERRMANN BATISTA et al, 2013). Entendendo isso o Ministério da Saúde iniciou a publicação de dados relevantes ao combate à pandemia, dentre outros lugares, no site OpenDataSus e no site LocalizaSUS. Esses dados compreendem informações sobre os casos registrados de COVID-19 e de Síndrome Respiratória Aguda Grave, financiamento, infraestrutura, leitos, etc.

Foram inseridos neste plano ações que possuem o intuito de adequar os dados já publicados à legislação pátria e à filosofia de dados abertos, bem como expandir a quantidade e a qualidade de dados neste formato. BRASIL, 2020-2021, p. Embora as possibilidades de negócios sejam tão variadas quanto as próprias fontes de informação, a maioria se concentra no desenvolvimento de software ou soluções digitais e serviços de consultoria. E permite-nos saber o que se passa à volta dos nossos clientes, em tempo real, e assim adaptar produtos e serviços às suas necessidades. HERRMANN BATISTA et al, 2013) Dessa forma, é possível entender que o uso de dados está começando a deixar de ser uma opção e está se tornando uma necessidade. Explorá-los adequadamente permite que decisões sejam tomadas, resultados sejam analisados e previsões futuras sejam feitas com base em evidências e não em intuição.

Do órgão estadual eles recomendam partir de uma análise dos dados disponíveis, analisando quais dados externos podem completar essas próprias informações e contando com a ajuda de profissionais. HERRMANN BATISTA et al, 2013) Para a sociedade, os dados abertos são importantes, pois com eles é possível conhecer os problemas atuais e quais ações estão sendo realizadas para resolvê-los. Os dados devem ser oportunos, ou seja, estar disponível com a rapidez necessária para garantir o seu valor e manter uma frequência de atualização que garanta a utilidade dos dados. COELHO, 2017). Os dados devem ser processáveis por máquina e estruturados para permitir seu processamento automático e não estar em formatos proprietários ou restritivos para softwares específicos.

O formato de dados não deve ser proprietário. Os dados serão disponibilizados em um formato sobre o qual nenhuma entidade tem controle exclusivo. MENEZES, 2014). Python é uma linguagem de programação poderosa e fácil de aprender, ela possui estrutura de dados de alto nível e uma simples, mas eficiente, abordagem de programação orientada a objetos. Sua elegante sintaxe e tipagem dinâmica, juntamente com seu interpretador nativo, fazem dela a linguagem ideal para scripting e o desenvolvimento rápido de aplicações em diversas áreas sob várias plataformas. MENEZES, 2014, p. Python oferece tipos de dados dinâmicos, classes preparadas e interfaces para muitas chamadas de sistema e bibliotecas. No entanto, a generalização do Big Data nos últimos anos, seguida da explosão da inteligência artificial, machine learning, deep learning e o surgimento da ciência de dados como uma nova área de trabalho com especialistas próprios revolucionaram o cenário.

E é que muitas das novas ferramentas que surgiram, e que são exploradas por engenheiros de dados e cientistas de dados, foram desenvolvidas em Python ou nos oferecem Python como a maneira preferida de interagir com elas. Python é uma linguagem de programação. É fácil de usar, mesmo para os principiantes. E para aqueles que se dedicam um pouco mais ao seu aprendizado, revela estruturas poderosas e flexíveis. É uma linguagem de código aberto, portanto, não é preciso pagar nenhuma licença para usá-lo. É apoiado por uma enorme comunidade. Sua natureza gratuita significa que novas bibliotecas e aplicativos estão sendo continuamente desenvolvidos. É difícil pensar em algo que alguém não fez. Este é um fator multiplicador para os programadores, pois qualquer dúvida será resolvida nos fóruns.

O principal obstáculo que encontrados no Python é que ela é uma linguagem não compilada, mas sim interpretada em tempo de execução. IPYTHON, 2022) Uma das principais características que diferencia a linguagem Python das outras é a legibilidade dos programas escritos. Isto ocorre porque, em outras linguagens, é muito comum o uso excessivo de marcações (ponto ou ponto e vírgula), de marcadores (chaves, colchetes ou parênteses) e de palavras especiais (begin/end), o que torna mais difícil a leitura e compreensão dos programas. Já em Python, o uso desses recursos é reduzido, deixando a linguagem visualmente mais limpa, de fácil compreensão e leitura. Entre outras características existentes na linguagem Python, destaca-se a simplicidade da linguagem, que facilita o aprendizado da programação. Cada elemento que usaremos na linguagem Python tem um “tipo”.

Dessa forma, o que podemos fazer com um determinado elemento depende do seu tipo. Por exemplo, não faz sentido multiplicar duas coisas se elas não forem números. Mas mesmo os números em Python se dividem em dois tipos diferentes. Os inteiros (que indicamos por int) e os de ponto flutuante (que indicamos por float). Os princípios de design da linguagem são guiados por uma série de aforismos coletados no Zen of Python. A partir desses princípios, podemos ver que a legibilidade e a simplicidade do código são partes essenciais do design da linguagem desde o início. FRANCO, 2016) Alguns dos pontos que encontramos no Zen of Python são consistentes com a mentalidade predominante nas empresas mais bem-sucedidas de hoje. A natureza livre e flexível do Python e a segurança oferecida pelo suporte dos milhares de usuários que compõem sua comunidade open source fazem desta linguagem uma aposta segura no processo de digitalização das empresas.

DELAMARO, et. Programação com R R é uma linguagem de programação e ambiente de desenvolvimento especificamente para análise de dados estatísticos. Para usar o R é necessário conhecer e digitar comandos. Alguns usuários acostumados com outros programas notarão de início a falta de "menus" (opções para clicar). Na medida em que utilizam o programa, os usuários (ou boa parte deles) tendem a preferir o mecanismo de comandos, pois é mais flexível e com mais recursos. Algumas pessoas desenvolveram módulos de “clique-clique” para o R, como o R-commander. O R, graças ao grande número de bibliotecas estatístico-matemáticas disponíveis, tornou-se imediatamente uma das linguagens mais apreciadas e usadas em Ciência de dados. No entanto, existem alguns pontos de atenção, como o gerenciamento de memória e a falta de paralelização automática, que o tornam mais adequado para prototipagem do que para fazer modelos que vão entrar em produção.

Por meio desse recurso é possível analisar a quantidade de dados com T como unidade de medida no computador em velocidade interativa. Dados de tabela, curvas, texto e imagens podem ser analisados em uma única plataforma. Os algoritmos de aprendizado de máquina mais recentes incluem aprendizado profundo, árvores evolutivas e teoria da máquina de fatoração. com%2Fgroups%2Fpython. Acesso em:09/05/22 Em termos de modificação e pré-processamento de dados, o Python é famoso há muito tempo, mas em análise e modelagem de dados, o Python é uma tabela curta. O software Pandas preenche essa lacuna, permitindo que você processe convenientemente todos os seus dados em Python, em vez de mudar para uma linguagem profissional mais convencional, como R. Ao integrar o melhor kit de ferramentas IPyton da categoria e outras bibliotecas, o ambiente de desenvolvimento para análise de dados em Python se destaca em desempenho de processamento, velocidade e compatibilidade.

Pandas não executarão funções de modelagem importantes além da regressão linear e da regressão em painel; para fazer isso, consulte a ferramenta de modelagem estatística statsmodel e a biblioteca scikit-learn. O que mais vale a pena mencionar é que está disponível para todos e é usado repetidamente em vários contextos. Ele é feito em NumPy, SciPy e mathplotlib. IPYTHON, 2022) O Scikit usa o contrato de licença de código aberto BSD, que também pode ser usado para fins comerciais. O Scikit-Learn possui os seguintes recursos: classificação que identifica a categoria à qual um objeto pertence; regressão que prevê o agrupamento de atributos de valor contínuo associado ao objeto; agrupamento automático de objetos semelhantes; redução de dimensionalidade que reduz o número de variáveis aleatórias a serem consideradas; seleção que compara, verifica e seleciona os parâmetros e pré-processamento do modelo; e pré-processamento que é a extração e normalização de características.

Para o uso de ML na busca de uma análise preditiva tendo como base um banco de dados com um volume substancialmente grande (Big Data), a adição de uma ferramenta de auxílio é de extrema importância, já que se trata de uma forma de codificação que ultrapassa a trivialidade. IPYTHON, 2022) Imagem 04 – Logo tipo Spark Fonte: https://commons. wikimedia. org/wiki/File:Apache_Spark_logo. svg. Acesso em: 10/05/2022 Às vezes, uma variável precisa ser compartilhada por muitas tarefas e controladores. Levado para o mundo real, o Big Data possibilita, por exemplo, economias significativas de custos derivadas de situações em que a análise preditiva permite solucionar problemas que levam à interrupção do serviço antes que eles aconteçam. É o caso do Big Data para conectar seus elevadores à nuvem, coletar dados de seus sensores e sistemas e transformar esses dados em Business Intelligence de alto valor.

Dessa forma, o Big Data está melhorando significativamente as operações e oferece algo que seus concorrentes não possuem: manutenção preditiva e até preventiva. AMARAL, 2017) Estes são apenas alguns exemplos, mas aproveitar as possibilidades do Big Data para otimizar o dia a dia do mundo dos negócios tem impacto direto em todos os setores: tendências de investimento, tendências nos perfis de gastos dos clientes, previsões econômicas, estudos meteorológicos, preços previsão no sector da energia, previsão do insucesso escolar ou mesmo medicina preventiva são apenas alguns exemplos. Em relação ao sistema Python, pode-se concluir que os frameworks Python são como caixas de ferramentas eficientes que podem acelerar o processo de desenvolvimento web. Python é a linguagem de programação preferida ao criar aplicativos que exigem integrações de Machine Learning.

Como é uma linguagem de codificação de alto nível, tarefas complexas de inteligência artificial e aprendizado de máquina podem ser facilmente executadas, aprendizado e processamento de dados são mais fáceis com pacotes prontos que são compilados dentro do Python. AMARAL, 2017) Conforme discutido no início do trabalho, é uma linguagem de programação fácil de ler e escrever. Eles removeram caracteres especiais complexos e colchetes que indicam o início e o fim dos programas e os substituíram por espaços em branco. Assim, torna-se uma linguagem amigável ao desenvolvedor para codificação e desenvolvimento web mais rápidos. Quando as ferramentas do Python e as Bibliotecas poderosas, estruturas e fácil integração com IA e Machine Learning permitem a implantação rápida de sites e aplicativos, seguros e fáceis de manter.

Python é a linguagem de escolha para a maioria das grandes empresas e aplicativos devido à sua facilidade de uso, flexibilidade para desenvolvedores, e certamente é a melhor escolha se você planeja desenvolver um site ou um aplicativo. REFERÊNCIAS BIBLIOGRÁFICAS AMARAL, Brenna Nicole Jurchacks Santos do. Big data: um benchmark de grande volume de dados de serviços de internet / Brenna Nicole Jurchacks Santos do Amaral. – Recife, 2017. Bibl. Univ. Belo Horizonte, v. n. p. Disponível em 2017. Disponível em: < https://www. cetax. com. br/blog/data-science-ou-ciencia-dedados/ > Acesso em: 10 de maio de 2022. Programação para estudantes de engenharia, usando Python. Sem ano. Disponível em: https://edisciplinas. usp. br/pluginfile. Apostila_Python_-_PET_ADS_S%C3%A3o_Carlos. pdf. Acesso em: 09 de maio de 2022. GIL, Antônio Carlos. Como Elaborar Projetos De Pesquisa.

Acesso em: 07 de maio de 2022. IPYTHON. Site Oficial do Pacote IPython. Disponível em https://ipython. org/. ed. Reimpressão. São Paulo – SP: Editora Érica, 2014. PYTHON. Site Oficial da Linguagem de Programação Python. inf. br/index. php/res/download/112105. Acesso em: 02 de maio de 2022.