-
Anlise de redes sociaispara Inteligncia Competitiva
usando Gephi
Clio Faria Jr. celiojunior.com.brarte Jen Stark jenstark.com
insights aprenda a viver com a complexidade Gke Sargut &
Rita McGrath hbrpr-leitura the network takeover Albert-Lazl Barabsi
barabasilab.com
pr-leitura data is the new gold Neelie Kroes european digital
agenda
Este trabalho publicado sob a licena Creative Commons - Atribuio
- CompartilhaIgual 3.0 No Adaptada. Todas as marcas registradas e
nomes comerciais citados so de propriedade de seus respectivos
detentores.
-
Quando o mundo imprevisvel, o melhor investimento pode ser
aquele que minimiza a
importncia de projees.
Gke SargutRita McGrath
burst | jen stark
-
Structural diversity in social contagion (UGANDER et al.
2012)
-
Structural diversity in social contagion (UGANDER et al.
2012)
-
objetivo e roteiro
Explorar as capacidades do Gephi por meio da anlise das mtricas
de grupos da rede social Facebook visando alcanar metas SMART*
(BUDAN, 2010 apud DORAN, 1981).
i. Conceituao e anlise de redes sociais
ii. Facebook/Netvizz/Graph API
iii. Gephi
iv. Anlise de uma rede ego Facebook
v. Inteligncia competitiva: anlise de grupos Facebook*
Especfica, Mensurvel, Atingvel, Realista, Tangvel
-
over and out | jen stark
Somos tolhidos por limites cognitivos: a maioria dos
executivos se acha capaz de absorver mais informao do
que estudos sugerem ser possvel.
Gke SargutRita McGrath
-
convergncia
-
grafos
representam objetos e seus relacionamentos
os objetos so representados por pontos, chamados vrtices ou
ns
as linhas conectoras dos objetos, representando qualquer tipo de
conexo entre eles, so chamadas de arestas
podem ser direcionados (com sentido) e/ou ponderados (com pesos
nas arestas)
estrutura lgica que demonstra como estes elementos se
relacionam
-
grafo no direcionado
-
grafo direcionado
1
3,5
6
5
16
8
-
cincia de redes
A cincia de redes pode ser descrita como o estudo disciplinado
das redes, sejam de pessoas, influncia ou tecnologia. Embora este
seja um campo relativamente novo, suas razes so do sculo XVIII,
quando a matemtica discreta evoluiu para o que veio a ser conhecido
como teoria dos grafos. A teoria dos grafos foi usada pela primeira
vez para descrever as propriedades de conexes fsicas e vias -- o
que hoje chamamos de redes.Leader Profile: The Burgeoning Field of
Network Science (PATTERSON, 2008)Network Theory: The Basics
(OWEN-SMITH, 2012)
-
anlise de redes
preocupa-se com a a formulao e soluo de problemas que possuem
uma estrutura de rede, usualmente representada por um grafo
focada nas relaes entre os atores, no nos prprios atores e seus
atributos
os atores no so (geralmente) amostrados de maneira independente,
como em muitos tipos de estudos, e.g. enquetes
Network Theory: The Basics (OWEN-SMITH, 2012)
-
redes sociais
Uma rede social uma estrutura social composta por um conjunto de
atores (e.g. indivduos ou organizaes) e as ligaes didicas entre
eles (e.g. relacionamentos, conexes ou interaes).Social Network
Analysis in the Social and Behavioral Sciences (WASSERMAN; FAUST,
1994)On Network Theory (BORGATTI, 2011)
-
stios de redes sociaisStios de redes sociais so servios baseados
na web que permitem:
construir um perfil pblico ou semi-pblico em um ambiente
controlado
articular uma lista de outros usurios com os quais desejam
compartilhar uma conexo
visualizar e navegar neste sistema por sua lista de conexes e as
conexes feitas por outros.
A natureza e a nomenclatura destas conexes variam de stio para
stio.
Social Network Sites: Definition, History, and Scholarship
(BOYD; ELLISON, 2007)
-
anlise de redes sociais
tem origem nas cincias sociais e nas teorias de redes e de
grafos enxergar as relaes sociais pela teoria de redes
ns e relacionamentos entre eles (conexes, arestas, links,
ligaes) ns representam atores e relacionamentos as conexes entre
eles rede ego: focada em "um n e um passo" (one-step
neighborhood)
primeiros estudos: sc. XVIII (mile Durkheim e Ferdinand Tnnies)
Harvard University Department of Social Relations:
Mark Granovetter: The Strength of Weak Ties (GRANOVETTER, 1973)
Stanley Milgram: (seis graus de separao)
An Experimental Study of the Small World Problem (MILGRAM, 1969)
The Small World Problem (KLEINBERG, 2002) Six Degrees of Separation
(BARABSI, 2002)
-
anlise de redes sociais (cont.)
falhas estruturais geram oportunidades, valor, inovaes e ideias:
Structural Holes and Good Ideas (BURT, 2004)
Brokerage and Closure: An Introduction to Social Capital (BURT,
2007)
Structural Holes, Technological Resources, and Innovation: a
longitudinal study of an interfirm R&D network (FRANKFORT,
2007)
teoria do capital social, para definir e medir o valor que um
indivduo obtm da sua rede: Social Capital: Implications for
Development Theory, Research, and Policy (WOOLCOCK; NARAYAN,
2000)
-
anlise de redes sociais (cont.)
Capital social(WOOLCOCK; NARAYAN,
2000)
Falhas estruturais(BURT, 2004)
-
tipos de rede e suas mtricas
redes direcionadas e no direcionadas ponderadas e no
ponderadas
mtricas grau: densidade de ligaes de entrada e sada
centralidade
intermediao (betweeness) proximidade (closeness) autovetor
(eigenvector)
autoridade (KLEINBERG, 1998): existncia de dois tipos de ns
autoridades: ns que possuem relevncia e popularidade hubs: ns que
referenciam vrias autoridades e as "unem"
modularidade (BLONDEL et al., 2008): estabelece regras para a
diviso da rede em comunidades (cliques)
-
tipos de rede e suas mtricas
centralidade de proximidade: um ator to mais central quanto
menor o caminho que ele precisa percorrer para para alcanar os
outros elos da rede. Mede sua independncia em relao ao controle de
outros.
centralidade de intermediao: a medida do potencial de um ator de
servir como intermedirio, ou seja, quanto um ator facilita o fluxo
de informao em uma rede. Quanto mais vezes um n for encontrado no
menor caminho entre dois ns randmicos, maior ser a sua centralidade
de intermediao.
centralidade de autovetor: encontra os atores mais centrais
(localizados mais prximos dos demais) considerando-se toda a
estrutura da rede (Google PageRank)
autoridade: Hubs e autoridades so uma extenso natural da
centralidade de autovetor.So calculados dois escores para cada
ator, hub e autoridade, sendo que um ator com alto hub aponta para
muitas boas autoridades e um ator com alta autoridade recebe ligaes
de muitos bons hubs.
Introduction to Social Network Methods (HANNEMAN, 2005);
Authoritative Sources in a Hyperlinked Environment (KLEINBERG,
1999)
-
redes livres de escala (scale-free)
Uma rede livre de escala aquela cuja distribuio de grau segue
uma lei de potncia (ao menos assintoticamente), ou seja, a frao
P(k) dos ns da rede que possuem k conexes para outros ns quando k
grande
(BARABSI, 2003)
Nmero de conexesNm
ero
de N
s c
om
k co
nex
es P
(k)
HUBS
-
redes livres de escala (scale-free)
Redes que contm esses importantes ns, chamados hubs, tendem a
ser o que chamamos de "livres de escala", no sentido de que alguns
desses ns tem um nmero de ligaes aparentemente ilimitado e nenhum n
tpico em relao aos outros.Estas redes tambm se comportam de certas
maneiras previsveis: so notavelmente resistentes a falhas
acidentais mas extremamente vulnerveis a ataques coordenados.Estas
descobertas mudaram dramaticamente o que pensvamos que sabamos
sobre o mundo complexo e interconectado que nos rodeia. Os hubs,
inexplicveis luz das antigas teorias de rede, oferecem provas
convincentes de que vrios sistemas complexos possuem uma
arquitetura rigorosa, regida por leis fundamentais -- leis que
parecem se aplicar iguamente a clulas, computadores, linguagens e
sociedades. (BARABSI, 2003)
-
rede randmica
-
redes livres de escala (scale-free)
Scale-free networks (BARABSI, 2003) Scale-free networks: a
decade and beyond (BARABSI, 2009) conceito oposto ao de redes
randmicas apresentam hubs modularidade acima de 0,4 (Gephi)
processos orgnicos e naturais ocorrem em mltiplos domnios sujeita a
ataques aos hubs exemplo de gerao pelo Gephi
-
redes mundo pequeno (small-world)seis graus de separao Frigyes
Karinthy e Stanley Milgram
os ns em uma rede de mundo pequeno normalmente no so vizinhos,
mas podem ser alcanados de qualquer outro n em um pequeno nmero de
passos.
a distncia L entre dois ns escolhidos aleatoriamente (ou seja, o
nmero de
passos necessrios para se alcanar um n a partir do outro) cresce
com o logaritmo do nmero de ns N da rede
o fato de uma rede ser livre de escala um
indicativode que sua natureza de
mundo pequeno
-
Porqu deveramos estar interessados em visualizao? Porque o
sistema visual humano um descobridor de padres de enorme poder e
sutileza.
O olho e o crtex visual do crebro formam um processador
massivamente paralelizado que prov o canal de banda mais larga at
os centros cognitivos humanos. Em altos nveis de processamento, a
percepo e a cognio esto intimamente relacionadas, o que a razo pela
qual as palavras "entender" e "ver" so sinnimas.
Colin Ware, apud Ben Fry
how to become a millionaire in 100 days | jen stark
-
cadeia de processamento no lineardesign de informao
computacional Ben Fry
Computational Information Design (FRY, 2004)Infoviz, ManyEyes,
datavisualization.ch
-
Facebook/Netvizz
Facebook 901 milhes de usurios (quase o triplo da populao dos
EUA, seria
o terceiro pas mais populoso do mundo, aps China e ndia)
comprou 750 patentes da IBM em 2012, superou em 2012 pela
primeira vez o Google em pesquisas em um fim de semana
82% dos usurios adicionam amigos porque os conhecem na vida
real
estatsticas brasileiras (SOCIALBAKERS, 2012)
Netvizz aplicativo Facebook para exportao de redes ego e grupos
no
formato GUESS (.gdf) utilizando a Graph API (FQL, JSON)
necessita, como todo aplicativo, da permisso do dono da
conta
-
marcas de mdias sociais mais valiosas de 2012
(HWZ, 2012)
-
Facebook
Why Is Facebook So Successful? Psychophysiological Measures
Describe a Core Flow State While Using Facebook (MAURI et al.,
2012)
Psiclogos definem "fluxo" [flow] como "estar desafiado pelo que
voc est fazendo no momento, mas tambm bastante excitado e
apreciando a experincia". Outros, indo alm, dizem que o fluxo um
sinal biolgico que diz sua mente para "catalogar" a experincia e
repeti-la. O estado de "fluxo nuclear" [core flow] estar focado e
com desempenho mximo, experimentando subjetivamente uma alta
qualidade de vida.
The Facebook flow (WELL-BEING, 2012)
-
Facebook nirvana
(MAURI et al., 2012)
(LANG, 1995 apud MAURI et al., 2012)
-
Um sistema complexo [...] possui aspectos que podem
operar de forma padronizada, mas cuja
interao est constantemente mudando.
Gke SargutRita McGrath
technicolor prism | jen stark
-
sobre
Gephi uma plataforma grtis e livre de visualizao e explorao
interativa para grafos dinmicos e hierrquicos e todos os tipos de
redes e sistemas complexos.
Gephi Foundation Conexo acadmica Perenidade Comunidade GSOC
Roadmap (0.8.1 beta)
Plataforma Netbeans / Java Windows/Linux/Mac Interface ergonmica
(br) Plugins
-
"Photoshop para grafos"
The Noise Cluster Model (CME; DIEMERT, 2010)
-
gephi para apreciadores The egyptian revolution on Twitter
Gephi < Graph Streaming Plugin < Python Server <
Twitter The HTTP Graph plugin Introducing Gephi 0.7
-
Gephi | rea de trabalho
-
Gephi | formatos de arquivo suportados (GEPHI, 2012)
-
radial reverie | jen stark
Uma dificuldade significativa deste tipo de problema [grande
quantidade de dados] descobrir, tendo um conjunto de dados, como
recolher informao significativa dele. Para a maioria,
este processo totalmente opaco.
Ben Fry
-
layouts
force-directed Fruchterman-Rheingoldt (partculas de massa) Force
Atlas (derivado do FR) Force Atlas 2 OpenOrd Yifan Hu Yifan Hu
multinvel (graph coarsening)
estruturais circular radial axis noverlap
-
prtica 1 | definindo a meta
"Para encontrar um emprego, no se leva em conta o que voc
conhece e sim quem voc conhece"
meta SMART: encontrar os cinco melhores candidatos para enviar
seu currculo a fim de obter um emprego que oferea um salrio melhor
do que o que voc atualmente ganha utilizando sua rede Facebook
obtida pelo Netvizz e traada pelo Gephi em uma hora
soluo reducionista ambiciosa: vamos procurar entre os amigos
mais prximos! estaro mais dispostos a nos ajudar sero mais fceis de
abordar faro recomendaes melhores
-
prtica 1 | Gephi
acessar e autorizar Netviz baixar arquivo GDF abrir Gephi traar
rede mtricas bsicas e modularidade layout pr-visualizao
-
prtica 1 | melhorando a teoria 1 conexes sociais fracas
Granovetter
The Strength of Weak Ties (GRANOVETTER, 1973)
Getting a job: weak social ties and on-line connections (WRIGHT,
2008)
se voc quer encontrar um emprego melhor do que o seu, procure
entre suas conexes sociais fracas (weak ties): pessoas conhecidas
com quem convivemos esporadicamente
a possibilidade de se encontrar um emprego melhor devido ao fato
de que suas conexes fortes geralmente so pessoas... parecidas com
voc!
-
prtica 1 | Gephi
realizar algoritmo HITS e verificar laboratrio de dados traar
classificao por Strongly-Connected ID rever possibilidades: anlise
visual
ATENO!!!
-
prtica 1 | melhorando a teoria 2
Os dados da rede Facebook/Netvizz so direcionados ou no
direcionados?
Se considerarmos a rede como direcionada, como deveria ser
definido o direcionamento: quem seria o n de origem? o solicitante?
quem confirmou a
solicitao ? caso a caso? o Netvizz representa estes dados de
maneira correta?
Que opo devemos considerar?
-
prtica 1 | melhorando a teoria 3 centralidade de intermediao,
sobreposio e imerso e intensidade declarativa Centralidade de
intermediao
Social Network Analysis (KUTCHAR, 2012) Neighborhood Overlap: o
quanto as redes se intersecta, ou seja, como a
rede se comporta em relao s falhas estruturais
Neighborhood Embeddedness: comoos ns esto imersos na rede, ou
seja, a medida de como as ligaes so fortes
Declarative intensity (Netvizz): mede o quanto o ator
participativo
Que tal mais de um parmetro? Laboratrio de dados!
-
prtica 1 | Gephi
realizar modularidade rever possibilidades: anlise visual
-
inteligncia competitiva
"Informao analisada que fornece insights e vantagem competitiva"
(FULD, 2007) A casa dos espelhos da Internet
"Um programa sistemtico para obter e analisar informaes sobre as
atividades de seus competidores e as tendncias do negcio para
promover as metas de sua prpria empresa" (KAHANER, 1997) Antecipar
mudanas de mercado, aes de competidores, descobrir
competidores novos e/ou potenciais, aprender sobre novas
tecnologias, produtos e processos que afetam seu negcio
Internet -- em 1997!
tica, fontes pblicas, estratgia
-
prtica 2 | definindo a meta
meta SMART: avaliar qualitativamente, em relao s mtricas de
redes sociais, qual das redes Facebook de dois grupos de ex-alunos
de universidades, qual apresenta maior possibilidade de suportar
aes de marketing de um produto educacional, utilizando o Netviz e o
Gephi em uma hora
abordagem reducionista ambiciosa: considerar apenas o nmero de
participantes muito simples de calcular e explicar pouco custosa
permite comparao direta aparncia de credibilidade
-
prtica 2 | Gephi
acessar e autorizar Netvizz baixar arquivos GDF dos grupos abrir
Gephi traar mtricas bsicas modularidade layout pr-visualizao
-
prtica 2 | melhorando a teoria 1 |intermediao Fernandez and
Gould
Structures of Mediation: a formal approach to brokerage in
transaction networks (FERNANDEZ; GOULD, 1989)
On And Off The Beaten Path: How Individuals Broker Knowledge
Through Formal And Informal Networks (AALBERS; KOPPIUS; DOLFSMA,
2006)
cinco tipos de intermediao (brokerage) coordenador porteiro
representante consultor conector
-
prtica 2 | melhorando a teoria 2
Structures of Mediation: A Formal Approach to Brokerage in
Transaction Networks (FERNANDEZ; GOULD, 1989)
Coordenadores Porteiros Representantes Consultores
Conectores
-
prtica 2 | melhorando a teoria 2
Coordenadores so conhecidos por uns e conhecem outros de seu
mesmo grupo, que no se conhecem mutuamente: este papel til para
aumentar (ou no) a conscincia recproca do grupo, j que atores nesta
posio podem permitir (ou impedir) a circulao da informao no
grupo
Representantes recebem e enviam conexes de dentro de seu prprio
grupo, enviando conexes apenas para atores localizados fora dele.
Podem permitir (ou impedir) que atores de um grupo sejam conhecidos
pelos dos grupos exteriores
Porteiros recebem somente ligaes de grupos exteriores, o que
significa que podem favorecer (ou controlar) a circulao das
informaes em seu grupo
Consultores enviam e recebem conexes para atores de um grupo
diferente do que aquele no qual esto includos e podem, portanto,
aumentar ou diminuir a coeso entre outros grupos
Conectores enviam e recebem conexes de atores de dois grupos
diferentes do seu prprio, o que lhes permite aumentar ou diminuir a
coeso da rede como um todo
-
prtica 2 | melhorando a teoria 2 considerando redes no
direcionadas
Coordenadores Porteiros Representantes Consultores
Conectores
Academic Inventors as Brokers (LISSONI, 2008)
-
prtica 2 | Gephi
realizar algoritmo HITS realizar modularidade verificar
laboratrio de dados traar classificao por modularidade rever
possibilidades: anlise visual
-
prtica 2 | melhorando a teoria 3
Paradoxo de Nadel: no possvel levar em conta simultaneamente as
dimenses culturais e relacionais das estruturas sociais. Beyond
Nadel's Paradox. A computational approach to structural
and cultural dimensions of social cohesion (LOZANO et al.,
2008)
Cuidado com a abordagem estritamente estrutural: brokerage is a
process not a structure; repeat after me: brokerage is a process
not a (LIZARDO, 2008)
Abordagem evolucionria: Brokerage vs. cohesion and collaborative
creativity: an evolutionary resolution (MINGO; CHEN, 2005)
-
outras possibilidades
Pesquisa-ao: uma introduo metodolgica (TRIPP, 2005): explorao
das mtricas de rede e das estruturas formadas por diferentes
configuraes de dados
The 6 Factors of Social Media Influence (WU, 2010)
Juno de redes ego: colaborar com os amigos!
Anlise dinmica (temporal): suportada pelo Gephi
sunken sediment | jen stark
-
A ideia fornecer toda a informao para ajudar os outros a julgar
o valor da sua contribuio e no
apenas aquelas que conduzem o julgamento em uma determinada
direo.
Richard Feynman
-
[email protected]