08/06/2004Portal Review1 Knowledge Collaborative Portal Review 8 June 2004 Information Systems and Telecommunication Division.

08/06/2004 Portal Review 1

Knowledge Collaborative Portal Review

8 June 2004

Information Systems and Telecommunication Division


“Menu”

General IT landscape

Functional Presentation

- XML Referential

Albert – search engine

Sympa – mass mailing

Static and “Chef d’Orchestre”; KO redirection

Portal Development Environment

Physical Architecture


General IT Landscape

• Complex network and application architecture

– “low level” physical infrastructure (cabling, active elements);

– IP network architecture (addressing, routing, DNS, DHCP, etc.);

– Servers & Systems (Windows, Unix, Linux);

• File, Web, Application, Database, etc.

– Connectivity (Internet, WAN, misc.);

– Security (Firewall, Proxy, DMZ) authentication, Antivirus, IDS;

– Performance, optimization (Packetshaper, Cache, CoS, Redundancy/Loadbalancing, IP compression, etc.);


General IT Landscape

• Main (ongoing) projects– Active Directory / LDAP– Storage: SAN, NAS, BackUp, Disaster Recovery– Information Life Cycle Management

• On-line/near-line/off-line ; Archiving• E-mail, web, documents, SAP, etc.

– Server Consolidation• File servers• Web servers• Application servers


Functional presentation

• Needs– Cross cutting– Multilinguism– Easy access to the huge amount of data UNESCO

publishes online


Functional presentation

• Actions for the portal– Standardization– Definition of a functional architecture– Pooling of resources

• Search engine• Mailing-lists

– Definition of a physical architecture


Functional architecture : past activities

• Work has been going on for more than 2 years– Installation of Simplify, Albert, etc.– Design of a functional architecture– Work on the data (XML repository)– Work on the presentation

• The first bricks can now be used


Functionnal Architecture

Consultation Internet

Other Sites

Content Management

Static

Presentation

Profiling

NewsMailing

Multimedia

CategorizationIndexation

Metadata repository

XML

Members directory

LDAP

Thesaurus

Search

engin

e

Connectors

DiscussionForum


Functional architecture : main directions

• Quality of data– Editors rarely qualify the content they type – Automatic processing requires qualifiers (meta data)

• Presentation of data– Definition of themes– Multi channel presentation (web, mailing lists, etc.)– Profiling


Portal data

• Eventually each document published on the Internet will be referenced in the XML repository

– Described by an identity card

– Qualified by keywords

• Work progress

– The identity card is defined

– The XML Repository is set up

– The Repository is feed by Simplify

– A connector architecture has been designed to feed the repository


Portal data : data quality

• Importance of good qualification– Without it data cannot be processed

• Work progress– Automatic qualification– Qualification statistics– Simplify contributors help– Identity card editing


Portal presentation

• Present data to better attain target publics• No duplication : only links and summaries• Multiple channels : HTML, mail, RSS, etc.


Portal presentation : themes

• How does it work ?

– Definition of themes : set of keywords to describe a topic

• Exemple : theme AIDS in Africa is described by ‘AIDS’ and ‘Africa’

– The Repository extracts matching data

– An editor selects the documents he wants to present

– A portal page is automatically created in Simplify

– Eventually, other channels will be added : mailing, RSS, etc.


Portal presentation : demonstration

• Online demonstation


Moteur de recherche 1/2

• Avril 2004 DIT avait installé sur un nouveau serveur les bases de la maquette Albert: le moteur de recherche, l’indexation de flux de données hétérogènes: CMS, WEB, UNESDOC.. PB techniques de BD, Thésaurus trop « riche », contenus interne et externe mélangés -> résultats confus.

• Recadrage du projet avec les secteurs (approche concensuelle)

• http://portal.unesco.org/search/wg

• Groupes de travail: Enquête, Pages promo.,Test qualité, indexation contrôlé, stratégie, affichage contextuel des résultats.

• ->Lancement reporté d’Albert courrant septembre 2004


Moteur Albert 2/2

• Réutilisation de l’API simplify->RefXML pour Albert. Maîtrise des données injectées:– Meta data Simplify (type, keywords, auteur,….)– Indexation tous les 15mn des Kos simplify(CMS).

• Indexation des sites WEB en fonction du contenu– Elaboration de descripteur de site DIT-BFC

• Définition des metadonnées à injecter.• Réécriture de la partie affichage des résultats. • Assistance technique.


Mass-Mailling –SYMPA v3-

• 71 listes10 > 1000 abonnés.15 > 100 abonnés22 > 10 abonnés.24 <10 abonnés.

• 800 à 4000 emails par semaine envoyés en mai.

• Facilité d’utilisation• Moins bien adapté pour les

groupes de discussion que UBB.• Bonne tenu en charge.• Version 4 à tester:

Soap interfaceCAS SingOn system

Abonnés pat liste

0

1000

2000

3000

4000

5000

6000

7000

8000

1 6 11 16 21 26 31 36 41 46 51 56 61 66

Série1


Architecture Simplify actuelle

FireWall

Simplify1

BD

Simplify3Simplify2 Simplify4

BDBDBD

FrontalPu

bli

cP

rivé

FrontalPu

bli

cP

rivé

s_waters_clts_shs…..

s_cis_intras_wwap

s_edu s_unesco

Recommendations Tomoye:

-4 instances / serveurs

<50 000 Kos

-Déploiement des applications sur plusieurs serveurs


GatewayUnique

Webmaster

Architecture Simplify

FireWall

Simplify1

BD

Simplify3Simplify2 Simplify4

BDBDBD

FrontalPu

bli

cP

rivé

FrontalPu

bli

cP

rivé

Frontal

HA

Haute disponibilité (HA)

Sécurité

Facilité d’accès

Base de données Master Base de données Slave

HA

ServersWWWServersWWWServersWWW

Architecture WEB

Accélérateur

FireWall

HA


Liste des serveurs

• Portal0 Actuel Front + quelques instances Simplify• Srvportal01 – Albert Installé• Srvportal02 – Mysql master • Srvportal03 – Mysql esclave• Srvportal04 – Serveur d’application – XmlRef• Srvportal05 – Serveur Simplify• Srvportal06 – Seveur Simplify+application Web• Srvportal07 – Serveur Simplify• Clustering Front

– Srvfront01 – Serveur Frontal01– Srvfront02 – Serveur Frontal02

• 2 autres serveurs pour la HauteDispo


Static site

• Problem– Simplify servers were slow because overloaded– Response time for visitors too long– Contribution rendered difficult

• Solution– Simplify sites are quasi-static– Create a static (HTML) site from Simplify– Optimal response time for visitors

• Simplify sites are being transformed into static


Static site

• Limitations– Reactivity– Template modification

• Solution : chef d’orchestre/conductor application– Schedules static transformation– Immediate generation of topics– Generation of topics after a template has changed– Deletion of topics


Static site : “nice” URL

• URL problem– Simplify URLs are complex and obfuscated– http://portal.unesco.org/en/ev.php-URL_ID=15006&U

RL_DO=DO_TOPIC&URL_SECTION=201.html• “nice URL” feature

– www.unesco.org/culture maps to a Simplify URL


Static site : “nice” URL

• How does it work ?– Create a new topic of “alias/redirection” type– For each language, map a nice URL to a static Simplify

URL


Administration des applications portails

GatewayUnique

Webmaster

•Permettre l’accès centralisé aux serveurs:

•Un seul point d’entrée

•une seule authentification

•Sécurise l’accès via HTTPS, SFTP, SSH.


Mutualisation des développements

• Les développements PHP, PERL, JAVA, XML… et les documentations sont hébergés sur un serveur (repository)

Concurrent Version Systèm:– Le + utilisé dans l’OpenSource, le + connu.– Programmation collaborative via internet.– La programmation des modules du portail peuvent

être faite à partir de partout dans le monde et peuvent être partagé.

– Par son ouverture, permet un meilleur contrôle des développements.

– Mise à disposition des sources et packages.


L’expériences CMS Multilingue

• Etude sur des CMS multilingue « open source » en java, php, python.

• L’option retenu a été OpenCMS.

– BackOffice évolué, bonne réputation.

– Frameworks « lourd » à mettre en œuvre.

– Notion d’object (KO) manquante -> Développement spécifique -> trop cher.

• Nouvelle proposition avec « Infoglue ». Arrêt de l’étude à cause du manque de visibilité et de financement


End

• Thank you for your attention

08/06/2004Portal Review1 Knowledge Collaborative Portal Review 8 June 2004 Information Systems and Telecommunication Division.

Documents

portal page

portal review11 portal

portal review10 portal

repository page

portal review3 general

portal review4 general

portal review15 moteur

profiling page