Commande d’un processus de fabrication par un système de vision El Sahmarani Khaled
Commande d’un processus de fabrication par un système de
vision
El Sahmarani Khaled
2
Sommaire
1. Contexte et motivation
2. Problématique – Étude préliminaire
3. La commande par vision
4. Applications et résultats
5. Conclusions et perspectives
3
Contexte et motivation
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
Besoins industrielles (SERPAC Industries) Optimisation de système de commande Limitation de câblage Imposer un système intelligent (robotique)
La vision dans le monde industriel Investissement à l’échelle mondiale Système matériel et logiciel complexes (technologie
embarqué et algorithme de traitement) Impact économique Avantages et inconvénients
4
Système de commande actuel
• Partie opérative
• Partie commande
• Supervision, maintenance et surveillance
• Capteurs
• actionneurs
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
5
Diversité des capteurs diversité des modes de défaillance
80% des défaillances sont dus aux capteurs
Défaillance de système de conduite (actionneur, câblage parfois des dizaines de mètres)
La sûreté de l’installation (défaillances en cascade, diagnostic)
Pertes en cours de production (rebut)
Temps de mise en œuvre trop important
Planification et Ordonnancement
MaintenanceSupervision
SurveillanceCOMMANDE
PARTIE OPERATIVE
Structure Classique
Capteurs
Actionneurs
Solution (SERPAC) : limiter le nombre de capteur
Organisation d’un système de commande
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
6
• Limitez le nombre de capteur facilite la mise en œuvre (1 seul outil)
• Diminution de temps d’installation
• Diminution de matériel de câblage
• Flexibilité de l’outil de vision• Facilité la phase de
surveillance• Facilité la phase de supervision• Type de donnée exploitable
(détection de mvt, reconnaissance, identification, position, vitesse)
Vision system
Proposition d’une nouvelle structure
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
7
Étude préliminaire
Maquette de tri de colis (SERPAC)Tri en fonction de la taille des colisMatériel vision : webcam, matlabAutomate: TSX Micro, PL7 V4.2
Détection de présenceTransfert vers l’organe de commande
Port sérieEthernet
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
Problèmes: perturbations et luminosité
8
Intégration de la vision
Remplacer les capteurs classiques par un capteur intelligent (vision)
Limiter le câblage Exploitation de la vision pour la
minimisation des pertes en ligne
Structuration de la partie opérative autour de la vision
Améliorer la partie supervision et surveillance
Planification et Ordonnancement
Maintenance Supervision
Surveillance
COMMANDE
PARTIE OPERATIVE
Structure Nouvelle
Actionneurs
???Vision
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
Planification et Ordonnancement
MaintenanceSupervision
SurveillanceCOMMANDE
PARTIE OPERATIVE
Structure Classique
Capteurs
Actionneurs
Commande
Partie Opérative
Ordonnancement
Traitement Actionneur
Surveillance, Supervision
PO, Capteur
Ordonnancement
Commande
Vision, image
Capteur Vision
Commande
Actionneur
Capteur 1… ………….Capteur .n
Partie opérative
Ordonnancement
Supervision
Surveillance
PO, Capteurs
Ordonnancement
Commande
9
Comparaison entre capteurs classiques et système de vision
Qualité d’information des capteurs classiques
Mesure vitesse, position, etc. Capteur de présence Mesure physique, pression,
force, etc. Besoin d’instrumentation ou de
convertisseurSignaux compatibles avec les cartes
d’entrée des automates (pour les analogique 4-20mA, 0-5/10V, pour les logiques 24V )
Qualité d’information du système de vision Capture de mouvement Capture de position, vitesse,
accélération Identification de défaut Localisation et
reconnaissance de forme Possibilité de communiquer
avec plusieurs terminaux ou automates.
Plusieurs types de capteursSystème unique
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
10
Les limites
Certaines mesures physiques (poids, volume…) Très haute cadences système de vision limité
à quelques centaines d’images par seconde Défaut d’éblouissement (détectable mais pas
inévitable) Défaut de pixellisation ( µm mais pour des
petites distances) Fiabilité logicielle (traitement d’image, matlab!) Luminosité
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
11
Commande par vision
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
• Développements, différents systèmes de commande:– Algorithme de traitement d’image très élaborés, tout embarqués
(coût élevé)
– Algorithme de traitement d’image classique, avec une structure de commande complémentaire (solution moins cher)
Algorithmes classiques de traitement d’image
Algorithmes classiques de traitement d’image
Structuration de la commande par des
modules Grafcet
12
Algorithmes de vision
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
– Détection de contour (Harris, Canny)
– Reconnaissance de forme et identification de défaut • Corrélation • Hough• Freeman
– Identification de couleur
13
Algorithme de vision, comparatif
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
Étude morphologique, Reconnaissance de forme et identification de défaut
•Hough•Freeman
Résultat visuel, bleu (Hough) et rouge (Freeman)
Performance Rapidité Implantation Précision Stabilité
Freeman + + - -
Trans. Hough - - + +
14
Architecture opérationnelle, principaux modules
Grafcet Maître
Grafcet conditions Initiales (Macros 1)
Grafcet Identification
(Macro 6)
Grafcet Localisation
(Macro 5)
Grafcet détection de présence/mouvement
(Macro 4)
Grafcet initialisationSystème de vision
(Macro 2)
COMMANDE TRAITEMENT
Modèle choisi
Acquisition d’imageFiltrage
Récupération ZOI ou capteurs virtuels
Détection de mouvement ou de présence
Localisation de pièce ou de forme
Identification de défaut
Modules ou algorithmes choisisModèle de commande
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
15
Probabilité de défaillance
Perturbation
Convoyeur
Vérin hydro1
Vérin hydro2
vision
Localisation
identificationLuminosité
Vibration
Vision
Localisation
Identification
Détection de présence
Passage intempestif
Acquisition
Actionneur
Probabilité de défaillance
Perturbation
Luminosité
Vibration
Passage intempestif
vision
Localisation
identification
Vision 1
Localisation
Identification
Détection de présence
Acquisition
Convoyeur
Vérin hydro1
Vérin hydro2
Actionneur
vision
identification
Vision 2
Localisation
Identification
Détection de présence
Acquisition
Performances, Arbres de défaillance
Perturbation
Probabilité de défaillance
Tcap1
Tcap2
Tcap3
Tcap4
Actionneur
Convoyeur
Vérin hydro1
Vérin hydro2
Système classiqueSystème avec visionSystème avec vision redondant
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
16
• Choix matériel et logiciel• Redondance • Choix des zones d’intérêt• Test et simulation par
apprentissage
• Programmation et algorithme:– Acquisition et codage– Filtrage– Détection de contour– Localisation et
reconnaissance de forme– Identification de défaut– Transmission des résultats
à la partie commande
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
Applications, commande par vision
Étape initiale, aspect matériel Choix fonctionnels
17
Cahier de charge, spécification de l’installation et des produits.
Caméra usb, fire wire, ethernet (Imasys)
Programme :Sherlock 6.0Matlab
• Choix matériel et logiciel• Redondance • Choix des zones d’intérêt• Test et simulation par
apprentissage
Étape initiale, aspect matériel
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
18
Nombre de caméra Position pour les zones
de redondance Choix de priorité (maître,
esclave)
• Choix matériel et logiciel
• Redondance
• Choix des zones d’intérêt• Test et simulation par
apprentissage
Étape initiale, aspect matériel
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
19
• Choix matériel et logiciel• Redondance
• Choix des zones d’intérêt• Test et simulation par
apprentissage
Nombre de capteurs classiques à remplacer
Dimensions des zones ou capteurs virtuels
Choix des algorithmes correspondants à ces zones
Étape initiale, aspect matériel
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
20
• Choix matériel et logiciel• Redondance • Choix des zones d’intérêt• Test et simulation par
apprentissage Choix des images de
pièces types à contrôler Test des algorithmes de
traitement d’image Maquette de simulation
Étape initiale, aspect matériel
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
21
• Programmation et algorithme:Acquisition et codage Filtrage Détection de contour Localisation et
reconnaissance de forme Identification de défaut Transmission des résultats
à la partie commande
Conditions ambiantes de fonctionnement
Vitesse d’acquisition Type d’image couleur:
RGB YCbCr
Choix fonctionnels
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
22
• Programmation et algorithme: Acquisition et codageFiltrage Détection de contour Localisation et
reconnaissance de forme Identification de défaut Transmission des résultats
à la partie commande
Transformation en niveau de gris
Filtre sélectif de couleur
Choix fonctionnels
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
23
• Programmation et algorithme: Acquisition et codage FiltrageDétection de contour Localisation et
reconnaissance de forme Identification de défaut Transmission des résultats
à la partie commande
Filtre bidimensionnel, moment supérieur Harris Canny
Choix fonctionnels
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
24
• Programmation et algorithme: Acquisition et codage Filtrage Détection de contourLocalisation et
reconnaissance de forme Identification de défaut Transmission des résultats à
la partie commande
Localisation par corrélation
Localisation dans la transformée de Hough
Choix fonctionnels
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
25
• Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et
reconnaissance de forme Identification de défaut Transmission des résultats
à la partie commande
Par étude morphologique comme:
Par la transformée de Hough
Par le code de Freeman
Choix fonctionnels
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
26
• Programmation et algorithme: Acquisition et codage Filtrage Détection de contour Localisation et
reconnaissance de forme Identification de défaut Transmission des résultats
et commande
Choix fonctionnels
Par réseau Ethernet Par Serial Link Firewire Autres….
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
27
• Étude de cas, cahier des charges• Spécifications techniques et outillage• Montage et programmation• Simulation et essai en plate-forme
Application chez SERPAC, Tri de colisreconnaissance de forme
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
28
• Identification de défaut et reconnaissance de forme– Algorithmes de détection de défaut ou de
reconnaissance par étude morphologique
• Tri de noix, par identification de couleur– Élaboration d’algorithme de détection de
défaut par colorimétrie
Application à l’AIP
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
29
Application, tri de noix
1. Détection de contour nb de noix / image
2. Identification de couleur qualité des noix (supérieur ou non)
3. Orientation des noix (par Hough)
4. Qualité du cerneau (identification de couleur)
Interface homme machine pour la supervision
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
Convoyeur ...........
Identification de qualité par
couleur
Rejet des noix de mauvaise qualité
Calcul d’angle
Réorientation des noix mal placer
Machine pour casser les noix
Entrée des noix
Première tâche Deuxième tâche
Localisation des noix
Troisième tâche
Convoyeur
Machine pour casser les noix Qualité du cerneau
Cerneau intact et de bonne qualité
Cerneau endommagé ou de mauvaise qualité
Quatrième tâche
30
Application, tri de noix
• Détection de contour nb de noix / image
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
31
Application, tri de noix
• Identification de couleur qualité des noix (supérieur ou non)
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
La couleur recherchée est mieux identifiée dans le premier noix
32
Application, tri de noix
• Orientation des noix (par Hough)
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
Transformée de Hough
Orientation de noix par Hough, l’angle où le fuseau de Hough est le plus large représente l’orientation du noix
33
Application, tri de noix
• Qualité du cerneau (identification de couleur)
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
Nb de pixels identifiés
1940
1277
34
Application, tri de noix
• Interface homme machine pour la supervision
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
35
Conclusions • Optimisation du système de commande
– Remplacement des capteurs matériels par des virtuels.
– Exploitation de la vision pour la supervision et le surveillance
– Technologie embarqué permet d’alléger la programmation de la partie commande (temps de cycle automate)
• Adaptation à divers modèles de commande• Compatibilité des algorithmes aux différentes
applications (mouvement, présence, colorimétrie…)
• Détection de défaut, limitation des pertes de fabrication
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives
36
Perspectives • Validation de l’architecture sur une maquette
industrielle• Tester la sûreté de l’installation, essai sous
contraintes (luminosité, vibration…)• IHM (Interface Homme Machine)• Proposition de systèmes multi-capteurs • Test de fiabilité logicielle (algorithme de
traitement d’image).• Système de vision sans fil
Contexte et motivation problématique commande par vision applications et résultats conclusions et perspectives