1.2 Indicadores do Projeto

2 Programa de Implementação do Projeto

2.1 Programa geral

Este projeto aborda os problemas de teste automático do desempenho do monitor, desenvolvendo um sistema de teste de automação de tela baseado em visão de máquina, com o esquema geral do sistema como mostrado na Figura 1. Desenvolvendo três aspectos do desenvolvimento e controle do braço robótico, módulo de visão de máquina e desenvolvimento de integração de sistemas, os principais conteúdos da pesquisa incluem os seguintes aspectos:
(1) combinar o projeto da plataforma de hardware e do sistema de software para concluir o projeto do esquema geral do robot de movimento de coordenadas retas; Através da tecnologia de controle de movimento de vários graus de liberdade, instalar um sistema de controle de servo, completar a depuração do software e o design da interface de operação homem-máquina, para realizar o design criativo e a depuração do robot de movimento de coordenadas retas.
(2) Adotar a tecnologia de captura e processamento de imagem, através do processamento de calibração de câmera, aprimoramento de imagem, eliminação de ruído e extração de borda, com base na estrutura de desenvolvimento de aplicativos OpenCV e QT, obter e transmitir informações de estado operacional do monitor, desenvolver módulos de monitoramento de estado operacional do monitor baseados em visão de máquina.
(3) Adotar o projeto de módulos funcionais e a tecnologia de integração para concluir o projeto de comunicação e correspondência funcional do sistema de controle de movimento de coordenadas retas e do equipamento de processamento de imagem, para realizar testes automatizados do estado operacional do monitor baseado na visão de máquina.

Figura 1 Sistema de teste de automação de tela baseado em visão de máquina

2.2 Programas concretos de execução

Este projeto conduz pesquisas sobre a tecnologia-chave de teste de automação de tela baseada em visão de máquina, a tela é colocada após o termostato, fixada por meio de fixações específicas, quando a mão robótica em vez da mão humana para a operação da tela, a visão de máquina é necessária para o monitoramento da condição operacional da tela e feedback de ciclo fechado da informação, e estabelecer um banco de dados de informações de falha da tela. Os programas de implementação específicos serão desenvolvidos em três aspectos: desenvolvimento e controle de braços robóticos, módulos de visão de máquina e desenvolvimento de integração de sistemas.

2.2.1 Desenvolvimento de módulos de inspeção de visão de máquina

Visão de máquinaÉ o uso de máquinas em vez de olhos humanos para medir e julgar.Sistema de visão automáticaÉ através de produtos de visão automática (ou seja, dispositivos de captura de imagem, tanto CMOS como CCD) para converter o alvo de captura em sinal de imagem, transmitido para oSistema de processamento de imagensObter informações morfológicas do alvo fotografado, transformando-as em sinais digitais de acordo com a distribuição de pixels e brilho, cor e outras informações; O sistema de imagem executa vários cálculos sobre esses sinais para extrair as características do alvo e, em seguida, controlar o movimento do dispositivo no local com base nos resultados da distinção.
(1) captação de sinal de imagem de estado de funcionamento do monitor
Detecção de visão automática da condição operacional da tela, usando a detecção CCD, o quadro de princípio de medição é mostrado na Figura 3. Usar uma lente para fazer imagens da extremidade da imagem da tela em um CCD (como mostrado na Figura 2). O CCD e seu circuito de acionamento capturarão o sinal de saída, em seguida, após a conversão analógica, os dados serão processados ​​por computador, através do processamento e reconhecimento de imagens, imagem da superfície da imagem e então feedback para o sistema de controle do computador, fornecendo base para a análise do estado operacional da tela.




Figura 3 Esquema de Princípios de Detecção de Visão de Máquina


Figura 4 Esquema do sistema de medição de sensores visuais


(2) Processamento de imagem de estado operacional do monitor
As imagens obtidas com o CCD precisam ser processadas e reconhecidas para obter imagens precisas e claras do estado de funcionamento da tela. Primeiro, o modelo de imagem de cada ponto é convertido em sinal elétrico através do CCD e seu circuito de acionamento, em seguida, após o processamento programado, a imagem é aprimorada, o processamento de escala de cinzento, a remoção de ruído, a divisão de limiar, a extração de borda da imagem e outros processos, melhorando assim a precisão e a precisão da detecção, e, finalmente, a imagem coletada é classificada e estatística, estabelecendo um banco de dados de detecção de falhas da tela. A calibração da câmera e o processamento de binação da imagem são mostrados nas Figuras 5 e 6.



Figura 5 Calibração da câmera
Figura 6 Processamento de binário de imagem

2.2.2 Desenvolvimento do módulo de controle do robô de movimento de coordenadas retas

Usando a mão robótica em vez da mão humana para o teste de automação da tela, o controle de movimento do robô e o controle do sistema de servo visual do movimento de coordenadas retangulares são necessários simultaneamente, o operador envia instruções de operação para o sistema de controle através da interface interativa homem-máquina, o cartão de controle de movimento adota o modo de torque e transforma a informação de quantidade digital em saída de pulso, o robô que controla o movimento de coordenadas retangulares conclui o movimento e realiza as operações correspondentes. O sistema de detecção de codificadores e sensores conclui a detecção de posição e torque e realiza a transmissão de sinais e a troca de dados entre o sistema de controle e o sistema de detecção, conclui o desenvolvimento do projeto do módulo do sistema de controle e do sistema robótico para garantir a precisão do movimento e a eficiência do teste de tela.

Figura 7 Esquema de controle de movimento robótico para movimentos de coordenadas em ângulo reto
A análise comparativa do esquema de controle de movimento do robô com movimentos de coordenadas retangulares projetados e do robô de ligação multiaxial tradicional foi realizada, como mostrado na Figura 7. O módulo de controle de mão mecânica para o movimento de coordenadas de ângulo reto é usado principalmente para controlar a mão mecânica em vez da mão humana para testar a tela, o sistema de detecção para completar a detecção de posição e torque e a troca de dados entre os diferentes sistemas.
1) Controle do sistema de movimento
Controle a mão robô para um movimento de três graus de liberdade e teste a tela em vez da mão humana. De acordo com as informações de posição e torque detectadas pelo sistema de detecção, o sistema de controle controla o movimento do robô na direção dos três graus de liberdade do espaço e, em vez da mão humana, conclui o toque, o clique e outros movimentos da tela.

Figura 8 Esquema de integração do sistema de acionamento
2) Controle do sistema de detecção
O sistema de detecção é usado para detectar a posição de movimento da mão mecânica e o torque. O controle do sistema de detecção inclui a detecção da posição de movimento do robô de coordenadas retangulares de três graus de liberdade, a detecção do tamanho do torque do ecrã de contato do extremo do atuador e parâmetros de movimento como velocidade, distância e outros.
3) Intercâmbio de dados
O sistema de detecção é composto por componentes como sensores e codificadores na extremidade do mecanismo de execução, que transmitem o sinal analógico medido pelo sensor para o módulo de controle, o módulo de controle transmite o sinal de feedback através de uma certa relação de conversão para o controle do movimento do robô.
4) Interação homem-máquina
O controle do movimento do robô é realizado através da interface de interação homem-máquina, o software do sistema de movimento automatizado é escrito e o operador seleciona o menu correspondente para obter os dados desejados ou realizar as funções desejadas para realizar a interação homem-máquina. O sistema de software permite o controle de movimento de vários graus de liberdade do robô, a mudança de modo de posição e torque, o feedback de circuito fechado do sinal de posição e torque e o armazenamento de informações de falha do ecrã. O desenvolvimento de dados de software é baseado no sistema operacional Windows 7, o ambiente de linguagem de desenvolvimento escolhe C ++, o banco de dados escolhe o banco de dados Oracle. A interface de interação humano-computador controlada pelo motor é mostrada na Figura 8.

Figura 8 Interface de interação humano-computador de controle de motor

2.2.3 Desenvolvimento integrado de sistemas de teste automatizados

O papel do sistema de teste de automação de tela baseado em visão de máquina requer a coordenação e a cooperação de várias unidades funcionais para completar conjuntamente o trabalho de teste de automação de tela. A pesquisa permite que o veículo integrado de funções de cada unidade do sistema de teste de automação, projete um corpo de execução de movimento eficaz, realize a integração de controle de detecção de estado operacional da tela, controle de mão mecânica em vez de tela de operação manual, para garantir a operação eficiente e coordenada do processo de teste de automação. Todo o sistema de teste de automação é composto por três módulos principais: o módulo de visão de máquina, o módulo de controle de automação do braço robótico e a integração do módulo de detecção, com o esquema de integração geral e o esquema de comunicação entre módulos como mostrado nas Figuras 9 e 10.

Figura 9 Solução de integração de sistemas de teste de automação de tela baseada em visão de máquina
Todo o sistema de teste automatizado se comunica através de um ônibus de campo. Construa um sistema em tempo real com funções NC dentro de um controlador industrial com software de controle baseado em plataforma PC e sistema operacional Windows para operações lógicas (TwinCAT PLC), funções de controle de movimento (TwinCAT NC), operações de ponto flutuante e armazenamento e processamento de grandes quantidades de dados usando o hardware padrão do PC. O programa PLC envia primeiro o sinal para o eixo NC, o NC envia a saída para o motor após o planejamento da trajetória, o cálculo PID e o processamento da interface IO para alcançar o controle do motor, enquanto o estado do motor é retornado oportunamente ao programa PLC através do NC. Em todo o sistema CNC, os módulos de software individuais (por exemplo, programas PLC, NC, aplicativos Windows, etc.) funcionam de modo semelhante ao dispositivo de hardware e podem trabalhar de forma independente. A troca de informações entre os módulos de software é realizada através do ADS, um controlador de movimento, com a estrutura integrada de comunicação de todo o módulo do sistema de controle, como mostrado na Figura 10.

Figura 10 Solução de comunicação do módulo do sistema de teste de automação