Elaborado por: José Miguel Sanchiz - 6 de Mayo de 2022
José Miguel Sanchiz es Profesor Titular en la Universidad Jaume I de Castellón. Su formación es Ingeniero de Telecomunicación, Licenciado en Ciencias Físicas y Doctor Ingeniero en Informática. Es autor de 10 artículos publicados en revistas internacionales revisadas por pares, y de un número de ponencias en congresos internacionales que supera las 50
1. Los proyectos para desarrollar máquinas con visión artificial
KEELTEK ENGINEERING SOLUTIONS S.L. es una de las empresas con las cuales colaboró como partner y experto en diseños y proyectos de soluciones que requieren nuestros clientes para sus plantas industriales y productivas cuando nos encontramos oportunidades de mejora en las cuales introducir visión artificial es el factor de decisión para aumentar la “capacidad” de los equipos y/o “aumentar” la calidad de los productos que se fabrican.
Las 3 aplicaciones más interesantes de visión artificial que he desarrollado en proyectos para diseño y puesta en marcha de equipos y maquinaria han sido:
Inspección de baldosas cerámicas decoradas en línea, aprendizaje de modelos y detección de defectos.
Detección de bases cerámicas, sus huecos para insertar decoraciones, y de las teselas decorativas, todo en línea para la confección por un brazo robot.
Detección y medición de cajas y paquetes en línea mediante visión 3D.
Este POST expone algunos conceptos básicos acerca de la evolución de la visión artificial y sus aplicaciones en el desarrollo de equipos y maquinaria para procesos industriales y de producción en los sectores de la economía mundial que necesitan incorporar la innovación para aumentar la capacidad productiva de sus plantas y aprovechar las oportunidades de mejora dentro de las líneas de producción en las cuales se puede incorporar la visión artificial. Escribo este artículo porque muchos responsables de procesos industriales me preguntan ¿De qué va eso de visión artificial aplicada a la Industria 4.0?
Comencemos por preguntarnos ¿Qué entendemos por Visión Artificial?, Son sistemas que básicamente detectan dos tipos de imágenes:
Reflectancia de la Luz: Aquellos en los que el sensor o sensores miden la intensidad de luz reflejada.
Distancia: Aquellos en que se mide la distancia a la superficie del objeto.
Si bien ambos tipos de sistemas su misión es detectar datos para organizarlos en una matriz de filas y columnas, es decir, una imagen, su contenido es de naturaleza muy distinta. En el caso de datos obtenidos por Reflectancia de la Luz tenemos lo que se conoce habitualmente como una imagen, que puede ser en color o en blanco y negro (niveles de gris). En caso de sensores de Distancia tenemos una imagen de rango, es decir, una imagen de profundidades desde el sensor a la superficie del objeto, en cada dirección de medida. Si además se conoce la geometría del sensor, cosa siempre conocida, las profundidades pueden convertirse en coordenadas 3D (x,y,z) de cada punto de la superficie tomada, en el sistema de coordenadas del sensor, es decir obtenemos una imagen conocida como 3D.
Se dice que las imágenes son 3D porque los datos están organizados en filas y columnas. Existen sensores que generan puntos 3D desorganizados, esto se conoce como una nube de puntos. Su utilidad es bastante diferente a la que aquí nos ocupa, siendo su uso principal el modelado 3D.
En los proyectos de desarrollo de máquinas y equipos para las plantas y procesos industriales se utilizan varias tecnologías para obtener imágenes 2D (de luz reflejada) y 3D (de la superficie del objeto). Detallemos estos sistemas.
2. Sistemas de toma de imágenes 2D
Son las imágenes habituales de luz reflejada. Se pueden clasificar atendiendo al espectro de la luz que se captura y atendiendo a la geometría del sensor.
En cuanto al espectro de la luz reflejada capturada, tenemos:
Imágenes de niveles de gris o blanco y negro: Se captura una sola banda espectral, que puede ser en el visible, en el infrarrojo o en el ultravioleta. El rango del espectro capturado se fija normalmente por medio de un filtro en la lente, o entre la lente y el sensor (CCD o CMOS). Una aplicación industrial puede ser la detección y medición de formas, es decir del contorno de los objetos, por ejemplo para clasificación de frutas.
Imágenes en color: Tres bandas sintonizadas en tres rangos del espectro alrededor de los colores rojo, verde y azul. Estas bandas están normalizadas. Por construcción, se suelen emplear sensores tri-CCD, en que cada píxel dispone de tres pequeños sensores con tres filtros de color, en el rojo, verde y azul. Una aplicación industrial puede ser la medición del color de teselas de mosaicos para control de calidad.
Imágenes hiper-espectrales: Son imágenes en que el sensor se sintoniza en una banda del espectro determinada. La sintonía se fija por métodos electrónicos y es rápidamente reconfigurable. Normalmente se toman muchas bandas en diferentes tiempos, una a continuación de otra, lo cual es aplicable si el objeto está parado. Sus principales aplicaciones son en toma de imágenes por satélite y en inspección de productos en que se busca algún elemento químico determinado, molécula, etc., que se sabe refleja más la luz en una determinada banda del espectro.
En cuanto a la geometría del sensor, existen sensores o cámaras matriciales y sensores o cámaras lineales. Los sensores tienen una construcción diferente y sus usos son también diferentes.
Cámaras matriciales: son aquellas en que el sensor es una matriz, es decir, es bidimensional. Ejemplos son todas las cámaras de fotografía y las cámaras convencionales industriales. Se toma a la vez una imagen de un área, de todo un objeto. Esta técnica es útil cuando los objetos o zona de trabajo son pequeños. Los inconvenientes en cuanto a su aplicación industrial son que es difícil conseguir una iluminación constante en toda el área. Además, los objetos pueden producir sombras. Su uso se suele restringir a áreas de inspección de no más de 500 x 500 mm y con objetos planos o casi planos.
Cámaras lineales: El sensor es unidimensional, una línea. Para obtener una imagen de un objeto, éste se debe mover a velocidad en principio constante, o se debe mover la cámara (lo cual tendría muchos inconvenientes, como generar vibraciones y obtener imágenes movidas o borrosas). Mientras el objeto se mueve a velocidad constante, se toman líneas con una cadencia tal que la separación entre líneas sea igual a la resolución de píxel. Se obtienen así imágenes cuadradas. Una alternativa, si la velocidad de los objetos no es constante, es usar un encoder y disparar la toma de líneas cada vez que el objeto avanza una distancia fija, independientemente de su velocidad. Se debe usar esta técnica si la línea puede detener y reanudar su movimiento, con lo que se producen aceleraciones. Una aplicación industrial puede ser la inspección de baldosas cerámicas de gran formato.
Las principales ventajas de las cámaras lineales es que las líneas se toman siempre en la misma zona unidimensional, con lo cual es mucho más sencillo producir una iluminación constante. Tampoco se producen sombras. Por otra parte, estas cámaras proporcionan imágenes 2D tal como si fueran matriciales, y los objetos pueden ser de considerable tamaño, siempre que pasen bajo la cámara. La imagen de todo el objeto no está formada hasta que no ha pasado todo, pero en muchas aplicaciones de inspección se pueden ir analizando imágenes parciales del objeto mientras pasa. Las cámaras lineales son también de mucha mayor resolución que las matriciales, existiendo modelos desde 4K, 8K o 16K píxeles por línea. El número de líneas que puede tener una imagen tomada con una cámara lineal es indeterminado.
3. Sistemas de toma de imágenes 3D
Las imágenes 3D son puntos en el espacio organizados en una matriz. Normalmente los sensores que toman imágenes 3D también proporcionan una imagen 2D de la luz reflejada, pero se usan en aplicaciones en que lo que interesa analizar es la forma de la superficie de los objetos, y no la luz que reflejan en cada parte o punto de su superficie. Por lo que la imagen 2D que proporcionan (de niveles de gris) no se suele usar, pero está disponible si hace falta, como para localizar algún logotipo impreso en el objeto.
Existen básicamente dos tipos de sensores 3D:
Cámaras TOF o de tiempo de vuelo de la luz (TOF: Time Of Flight): Son cámaras matriciales. Incorporan un foco o iluminante que ilumina el objeto con una luz modulada con una señal de frecuencia elevada. Normalmente luz infrarroja para que no sea visible. La luz reflejada y recibida en cada elemento sensor, en cada píxel, también está modulada y se compara con la luz emitida. La comparación se realiza por medios electrónicos. Consiste en medir el desfase entre la onda que modula la luz emitida, disponible en el sensor, y la onda que modula la luz recibida. Evidentemente, el tiempo de desfase es proporcional a la distancia recorrida por la luz, ya que la velocidad de la luz es una constante universal.
Hoy en día estas cámaras no tienen mucha resolución ni precisión para poder usarlas en aplicaciones industriales. Tampoco tienen la robustez que los elementos industriales requieren. Están orientadas básicamente a la industria del ocio, videojuegos, etc., para capturar los movimientos de los jugadores y que así puedan interactuar.
Perfilómetros: Estos equipos son la contrapartida 3D a las cámaras lineales. Su funcionamiento es muy similar en el modo en que se forman las imágenes (3D en este caso). El objeto debe pasar a velocidad en principio contante bajo el perfilómetro, y éste va tomando líneas. Cada píxel contiene las coordenadas 3D (x,y,z) de un punto de la superficie. Si la velocidad de paso del objeto no es constante, se puede disparar la toma de líneas mediante un encoder cada vez que avanza una distancia fija. El principio de funcionamiento es que se emite un plano láser y existe una cámara matricial de alta velocidad con un filtro sintonizado en el espectro del láser emitido. El láser intersecta al objeto produciendo una línea sobre su superficie. La línea es fácilmente identificable de forma automática por métodos de análisis de señal. Un software incluido en el perfilómetro analiza cada imagen tomada. A partir de la calibración del plano láser con la cámara obtiene las coordenadas 3D de cada punto.
Los perfilómetros tienen un uso básicamente industrial. Están diseñados para la industria y según modelos requieren medidas de seguridad, por la potencia del láser. Los principales constructores de sensores industriales los incorporan en sus catálogos. Su precisión depende del tamaño de la zona a capturar, y pueden llegar a centésimas de milímetro.
4. Ventajas de usar imágenes 3D frente a 2D
Las imágenes 3D tomadas escaneando piezas mientras pasan por una línea es de naturaleza distinta a imágenes de reflectancia de luz, tanto imágenes convencionales en color, imágenes de niveles de gris en las bandas infrarroja, visible, o imágenes de múltiples bandas en el caso de imágenes multiespectrales.
Nótese que las medidas que contiene una imagen 3D son distancias a la superficie de las piezas. El sensor convierte estas distancias en coordenadas (x,y,z) de los puntos a partir de su geometría, dadas en el sistema de coordenadas del sensor. Se trata de coordenadas reales de las que se pueden extraer medidas reales sin necesidad de calibrar, como si sería necesario con imágenes 2D.
La imagen 3D son puntos organizados en una matriz, a diferencia de otros sistemas de adquisición 3D que proporcionan nubes de puntos desorganizados. Esto es muy importante pues se conoce la vecindad de cada punto, por lo que se puede razonar sobre la superficie. Esta vecindad habría que reconstruirla en el caso de una nube de puntos. Las medidas de una imagen 3D son independientes de la reflectancia de luz, lo cual representa una gran ventaja respecto a imágenes de reflectancia, ya que permite razonar y detectar facetas de interés de la superficie independientemente de su color.
Disponer de la geometría de una superficie y no de su color o nivel de gris en una cierta banda, permite basar la detección en la forma de la superficie, buscando facetas como zonas extremos de curvatura, picos, valles, alturas, esquinas, direcciones de las curvaturas principales, etc. No obstante, los equipos de captura de imágenes 3D suelen proporcionar también una imagen 2D de luz reflejada, que se corresponde píxel a píxel con la imagen 3D.
El sensor más adecuado para obtener imágenes 3D en la industria es un perfilómetro. Este equipo escanea los objetos al tiempo que pasan bajo él proyectando un plano láser, que dibuja una línea o perfil sobre el objeto. No hace falta, por tanto, iluminación externa. La distorsión de la línea siguiendo la forma de la superficie permite detectar las coordenadas en cada punto sobre ella, cosa de la que se encarga el software incorporado en el sensor. El número de puntos en cada línea depende de la resolución del sensor, valores típicos son 1.280 o 2.048 puntos.
5. Necesito una empresa de proyectos para un proyecto que requiere visión artificial
En KEELTEK ENGINEERING SOLUTIONS S.L somos expertos en integrar a las personas que van a conformar los equipos de proyectos para el desarrollo de soluciones para la industria. Establecemos alianzas estratégicas con profesionales y empresas para crear y dirigir equipos de alto desempeño para lograr entregar a nuestros clientes los equipos industriales que exige la evolución de la industria 4.0 y la capacidad potencial que nuestros clientes desean alcanzar con niveles excelentes de productividad porque damos formación a los operarios y personal de mantenimiento para que mantengan niveles de eficiencia OEE > 95% que son valores clase mundial en las empresas industriales, de servicios y productivas en cualquier sector del mundo que apuesta por la excelencia operacional y operativa y tienen un plan de activos industriales para migrar a los niveles de productividad de la Industria 4.0.
Si tienes identificada una oportunidad de mejora o un cuello de botella en tu planta industrial contáctanos y te daremos ideas y sugerencias sin ningún compromiso, nos gusta la tecnología y nuestra visión es ayudar a las empresas industriales aportando ideas e innovación.