sábado, 30 de julho de 2022

Arquitetura de Big Data

 Arquitetura básica de Big Data

A complexidade que envolve o gerenciamento de todas as características do Big Data exige que tratemos sua arquitetura de modo específico, o que, mais uma vez, o diferencia dos sistemas de banco de dados tradicionais que teriam dificuldade em lidar com operações de dados em sistemas heterogêneos. Esses sistemas são chamados de data lake, que, literalmente, pode ser traduzido como “lago de dados”. Basicamente, trata-se de um enorme repositório de arquivos e objetos de dados. Portanto, as soluções da arquitetura de Big Data precisam ser eficientes para que possam produzir resultados com tempos de resposta aceitáveis.

Conceitos sobre Big Data

De modo geral, associamos o termo Big Data a um grande volume de dados e entendemos que este viabiliza a aplicação de métodos estatísticos e outras análises para extrairmos informações importantes. No entanto, Big Data é bem mais amplo que essa percepção, pois abrange conjuntos de dados que não podem

ser tratados pelos métodos tradicionais de gestão da informação, ou seja, serem adquiridos, reconhecidos,

gerenciados e processados em um tempo aceitável. Assim, o Big Data pode ser visto como uma fronteira para inovação, competição e produtividade.

Ref. Pós-graduação Ciência de Dados e Big Data pela UNESA 




Python Pandas: importando arquivo csv

 P15: Importação de CSV padrão para um DataFrame 

import pandas as pd 

paises = pd.read_csv("c:/bases/paises.csv",index_col="sigla") 

print(paises) 

Simples, não? A saída do programa demonstra que a importação foi perfeita:

 

Referência: Pandas Python. Eduardo Correa Editora Casa do Código.



O que é uma Startup?

 O que é uma startup?

Uma startup é uma organização desenhada para criar e experimentar soluções para um problema de um conjunto de pessoas.

Eric Ries fez uma boa defnição no seu livro Lean Startup:

Uma startup é uma instituição humana desenhada para criar um novo produto ou serviço em condições de extrema incerteza. [11] –Eric Ries Um ponto a comentar dessa defnição é que ela é focada no produto ou serviço, e não nas pessoas e nos problemas que essas pessoas têm e que os produtos ou serviços devem resolver.

O produto ou serviço nada mais é do que uma solução para o problema de um conjunto de pessoas. Se nos focarmos no produto ou serviço, corremos o risco de nos perdermos em detalhes técnicos e nos esquecermos do propósito principal de nossas ações, as pessoas e seus problemas e necessidades.

Também não diria que são condições de extrema incerteza. São condições sim de incerteza, mas não de incerteza extrema. Você simplesmente não sabe se a solução que imaginou de fato vai resolver o problema das pessoas. Se não resolver, você vai ter que ajustar ou mudar até achar uma solução que resolva, ou até mesmo procurar um novo problema. É incerto? Sem dúvida! É extremamente incerto? Não acredito que a palavra “extremo” caiba aqui. Apenas acho que é incerto. Aliás, qualquer busca de solução de qualquer problema é um caminho incerto.

Outro ponto a comentar é o termo “instituição” . Esse termo vem do verbo ins-tituir, ou seja, fundar, criar, erigir, estabelecer. Vejo mais o trabalho nas startups acontecendo como uma organização de pessoas do que como uma instituição. Uma organização, como o nome mesmo diz, é algo mais orgânico, mais fuido. Já uma instituição parece necessitar de um ato de criação.

É claro que é muito fácil comentar em cima do trabalho dos outros, por isso, volto a dizer, Eric Ries fez uma boa defnição de startup no seu livro Lean Startup.

Gostei bastante quando a li pela primeira vez.

O que proponho abaixo é apenas uma “refatoração” da defnição do Eric Ries:

Extraído: Guia da Startup - Joaquim Torres. Editora Casa do Código.




sexta-feira, 15 de abril de 2022

IoT - Interoperabilidade

Interoperabilidade é a capacidade de um sistema de se comunicar de forma transparente com outro sistema. Para um sistema ser considerado interoperável, é muito importante que ele trabalhe com padrões abertos ou ontologias.











terça-feira, 30 de novembro de 2021

Neuroliteratura Paulo Werneck


 O crítico literário Paulo Werneck, nesta edição, nos mostra como na produção literária contemporânea os temas da medicina capturam os romances, produzindo escritores que se apropriam dos saberes médicos, e como também relatos médicos passaram a ser romanceados. Mas, se a literatura expressa tensões e crises de cada tempo, o que este casamento entre a ciência médica e a literatura nos revela de nossos dias?

sexta-feira, 19 de novembro de 2021

ENEM DIGITAL 2021

 
ENEM DIGITAL 2021

Em 1986 terminava meu Ensino Médio, na época 2°grau. Nem imaginava em ENEM quanto mais digital. Antigamente era apenas o vestibular. Os anos passaram trabalhei em tantas profissões de auxiliar de estofados, serralheiro e vidraceiro, a datilógrafo e operador de computador. No Exército um micro computador com Winchester.  Unidade de fits magnética. Fazia desenho em print Master. Os tempos passaram estudei Teologia, bacharelado, pós graduação em Filosofia, Gestão da Avaliação, Pedagogia e minha grande paixão Análise de Sistemas e até uma pós-graduação em Ciência de Dados.  Professor e supervisor de vendas on-line atualmente,  segundo ano que sou supervisor de tecnologia do ENEM DIGITAL.  Experiência única e gratificante para mim. Após um ano de ter sofrido 2 AVCs ainda posso experimentar nos meus 53 anos de idade a inovação e o avanço tecnológico da avaliação.  O ENEM DIGITAL é um grande avanço na avaliação de larga escala. Algo seguro e rápido. Sem muito papel os dados são enviados online ao servidor. Além de ser simples o preparo da máquina para a prova, um processo inovador e o fruto do avanço tecnológico.  Certamente avançará mais. Hoje 2021 quem diria que realizar avaliação para o Ensino  Superior seria tão eficazmente rápido e eficiente. Aliás aprendi na faculdade sobre eficácia e eficiência, e o ENEM DIGITAL é tudo isso. Vejo que o tempo passou, as linguagens de programação mudaram. Do D-basic chegamos ao PHP, C++ e Python. Os Bancos de Dados virtuais, Big Datas. E assim no seu segundo ano o ENEM DIGITAL veio para ficar. Não será uma avaliação anual apenas. É olho para trás e como um desenvolver dialético hegeliano, a história é o avanço de suas teses, antíteses e sínteses. E a avaliação é o resultado desse progresso da razão humana. Por trás da máquina está o homem e por trás desse homem o conhecimento. Ainda lembro do professor que ao mostrar em 2020 aos seus alunos jovens a figura de um triângulo com bolas de gude, perguntaram se aquilo era algo esotérico. Que época boa, rodar pião, brincar de búlica, jogar botão, mas que venham os aplicativos e os jogos no APP. Aliás,  até o ENEM DIGITAL tem APP. Que bom o espírito jovem continua em todas as épocas com instrumentos diferentes. A vida vale a pena ser vivida.

Postagem em destaque

Entrevista sobre Avaliação com a Professora Thereza Penna Firme

Entrevista sobre Avaliação com a Professora Thereza Penna Firme Entrevista sobre Avaliação com a Professora Thereza Penna Firme para ...