Conecte y ejecute modelos de aprendizaje automático para anomalías visuales en una arquitectura de AWS sin servidor

Imagine que tiene una gran infraestructura de diferentes tipos de dispositivos que necesita mantener regularmente o asegurarse de que no representen un riesgo para el medio ambiente.

Una forma de lograr esto es enviar personas a cada ubicación con regularidad para verificar que todo esté bien. Esto es factible de alguna manera, pero también consume bastante tiempo y recursos. Y si la infraestructura es lo suficientemente grande, no podrá cubrirla por completo en un año.

Otra forma es automatizar este proceso y dejar que los trabajos en la nube se registren por usted. Para que esto suceda, deberá hacer lo siguiente:

👉 Capture rápidamente imágenes del dispositivo. Esto todavía lo pueden hacer los humanos, ya que es mucho más rápido simplemente tomar una imagen, como todos los procesos de verificación de dispositivos. Esto también se puede hacer con fotos tomadas desde automóviles o incluso drones, en cuyo caso el proceso de adquisición de imágenes se vuelve mucho más rápido y automatizado.

👉 Luego, debe enviar todas las imágenes capturadas a una ubicación dedicada en la nube.

👉 En la nube, necesita un trabajo automatizado para recopilar imágenes y procesarlas con modelos de aprendizaje automático capacitados para reconocer daños o anomalías en los dispositivos.

👉 Finalmente, los resultados deben ser visibles para los usuarios correctos para que pueda programar las reparaciones de los dispositivos problemáticos.

Veamos cómo podemos lograr la detección de anomalías en imágenes en la nube de AWS. Amazon tiene algunos modelos de aprendizaje automático listos para usar que podemos usar para este propósito.

Cómo crear un modelo para la detección de anomalías visuales

Para crear un modelo para la detección de anomalías visuales, deberá seguir algunos pasos:

Paso 1: Defina claramente el problema que desea resolver y los tipos de anomalías que desea detectar. Esto lo ayudará a determinar el conjunto de datos de prueba adecuado que necesitará para entrenar el modelo.

Paso 2: Recopile un gran conjunto de imágenes que representen condiciones normales y anómalas. Etiquete las imágenes para indicar cuáles son normales y cuáles contienen anomalías.

Paso 3: Seleccione una arquitectura modelo apropiada para la tarea. Esto puede implicar seleccionar un modelo previamente entrenado y ajustarlo para su caso de uso específico o crear un modelo personalizado desde cero.

Paso 4: entrenar el modelo utilizando el conjunto de datos entrenado y el algoritmo elegido. Esto significa utilizar el aprendizaje por transferencia para utilizar modelos previamente entrenados o entrenar un modelo desde cero utilizando técnicas como las redes neuronales convolucionales (CNN).

Cómo entrenar un modelo de aprendizaje automático

El proceso de entrenamiento de los modelos de aprendizaje automático de AWS para la detección de anomalías visuales suele implicar varios pasos importantes.

№1. recopilar los datos

Primero, debe recopilar y etiquetar un gran conjunto de imágenes que representen condiciones normales y anómalas. Cuanto mayor sea el conjunto de datos, mejor y más preciso podrá entrenar el modelo. Pero también requiere mucho más tiempo dedicado a entrenar al modelo.

Por lo general, necesita tener alrededor de 1000 imágenes en el conjunto de prueba para tener un buen comienzo.

№ 2. Preparar los datos

Los datos de la imagen deben procesarse previamente para que los modelos de aprendizaje automático puedan recogerlos. El preprocesamiento puede significar diferentes cosas, como por ejemplo:

• Limpieza de imágenes de entrada en subcarpetas separadas, corrección de metadatos, etc.
• Cambiar el tamaño de las imágenes según los requisitos de resolución del modelo.
• Distribuyéndolos en fragmentos de imagen más pequeños para un procesamiento paralelo más eficiente.

№3. Seleccione el modelo

Ahora seleccione el modelo adecuado para un funcionamiento adecuado. Seleccione un modelo previamente entrenado o puede crear un modelo personalizado adecuado para la detección visual de anomalías en el modelo.

№ 4. Evaluar los resultados

Una vez que el modelo haya procesado su conjunto de datos, debe probar su rendimiento. Además, desea comprobar si los resultados satisfacen sus necesidades. Esto podría significar, por ejemplo, que los resultados son correctos para más del 99 % de los datos de entrada.

№ 5. Implementar el modelo

Si está satisfecho con los resultados y el rendimiento, implemente el modelo de una versión particular en el entorno de su cuenta de AWS para que los procesos y servicios puedan comenzar a usarlo.

№ 6. Seguimiento y mejora

Haga que ejecute varios casos de prueba y conjuntos de datos de imágenes y evalúe continuamente si los parámetros necesarios todavía están presentes para una detección correcta.

Si no, vuelva a entrenar el modelo incluyendo nuevos conjuntos de datos donde el modelo produjo resultados incorrectos.

Modelos de aprendizaje automático de AWS

Ahora eche un vistazo a algunos modelos específicos que puede usar en Amazon Cloud.

AWS Rekognition

Rekognition es un servicio de análisis de imagen y video de uso general que se puede utilizar para una variedad de casos de uso, como reconocimiento facial, detección de objetos y reconocimiento de texto. La mayoría de las veces usará un modelo de rekognición para la creación inicial de resultados de detección para formar un lago de datos de anomalías detectadas.

Proporciona una serie de modelos listos que puede usar sin capacitación. Rekognition también proporciona análisis de imágenes y videos en tiempo real con alta precisión y baja latencia.

Aquí hay algunos casos de uso típicos de rekognición para la detección de anomalías:

• Tener un caso de uso común para la detección de anomalías, como la detección de anomalías en imágenes o videos.
• Realice la detección de anomalías en tiempo real.
• Integre su modelo de detección de anomalías con servicios de AWS como Amazon S3, Amazon Kinesis o AWS Lambda.

Y aquí hay algunos ejemplos específicos de anomalías que puede detectar con Rekognition:

• Anomalías faciales, como detectar expresiones faciales o emociones fuera del rango normal.
• Objetos faltantes o fuera de lugar en una escena.
• Palabras mal escritas o patrones de texto inusuales.
• Condiciones de iluminación inusuales o objetos inesperados en una escena.
• Contenido inapropiado u ofensivo en imágenes o videos.
• Cambios repentinos en movimiento o patrones de movimiento inesperados.

AWS busca la visión

Fuente: aws. amazon. com

Lookout for Vision es un modelo específicamente diseñado para detectar anomalías en procesos industriales, como las líneas de fabricación y producción. Por lo general, requiere algún procesamiento previo y posterior al código de imagen personalizado o un recorte de imágenes específico, generalmente realizado utilizando el lenguaje de programación de Python. La mayoría de las veces se especializa en algunos problemas especiales en la imagen.

Requiere capacitación especializada en un conjunto de datos de imágenes normales y anormales para crear un modelo personalizado para la detección de anomalías. No está tan enfocado en el tiempo real; Más bien, está diseñado para el procesamiento de imágenes por lotes con énfasis en la precisión y la precisión.

Aquí hay algunos casos de uso típicos en los que buscar en la visión es una buena opción si necesita detectar:

• Defectos en productos manufacturados o detectar fallas de equipos en una línea de producción.
• Un gran conjunto de imágenes u otros datos.
• Anomalía en tiempo real en un proceso industrial.
• La anomalía está integrada con otros servicios de AWS como Amazon S3 o AWS IoT.

Y aquí hay algunos ejemplos específicos de anomalías que se pueden detectar con la vista de visión:

• Defectos en productos fabricados, como rasguños, abolladuras u otros defectos que pueden afectar la calidad del producto.
• Fallas de equipos en la línea de producción, como el descubrimiento de equipos rotos o de mal funcionamiento que pueden causar retrasos o poner en peligro la seguridad.
• Los problemas de control de calidad en la línea de producción incluyen el descubrimiento de productos que no cumplen con las especificaciones o tolerancias requeridas.
• Los riesgos de seguridad en la línea de producción incluyen el descubrimiento de objetos o materiales que podrían representar un peligro para los trabajadores o equipos.
• Anomalías en el proceso de producción, como la detección de cambios inesperados en el flujo de materiales o productos a través de la línea de producción.

AWS Sagemaker

Fuente: aws. amazon. com

Sagemaker es una plataforma totalmente administrada para la construcción, capacitación e implementación de modelos de aprendizaje automático personalizados.

Es una solución mucho más robusta. De hecho, proporciona una forma de conectar y ejecutar múltiples procesos de múltiples pasos en una sola cadena de trabajos que se siguen entre sí, similar a las funciones del paso de AWS.

Pero debido a que Sagemaker utiliza instancias EC2 dedicadas para el procesamiento, no hay un límite de 15 minutos para procesar un solo trabajo, como con las funciones de AWS Lambda en las funciones de AWS Step.

También puede realizar la personalización automática del modelo con Sagemaker, lo que ciertamente lo convierte en una opción excepcional. Finalmente, Sagemaker puede implementar fácilmente el modelo en un entorno de producción.

Aquí hay algunos casos de uso típicos de Sagemaker para la detección de anomalías:

• Un caso de uso específico no cubierto por modelos o API preconstruidos, y si necesita crear su propio modelo personalizado para sus necesidades específicas.
• Si tiene un gran conjunto de imágenes u otros datos. Los modelos preconstruidos en tales casos requieren algún procesamiento previo, pero Sagemaker puede prescindir de él.
• Si necesita realizar la detección de anomalías en tiempo real.
• Si necesita integrar su modelo con otros servicios de AWS como Amazon S3, Amazon Kinesis o AWS Lambda.

Y aquí hay una detección de anomalías típica que Sagemaker puede realizar:

• Detección de fraude en transacciones financieras, como patrones de gasto inusuales o transacciones fuera del rango normal.
• Ciberseguridad en el tráfico de red, como patrones de transferencia de datos inusuales o conexiones inesperadas con servidores externos.
• Diagnóstico médico de imágenes médicas, como la detección de tumores.
• Anomalías del equipo, como detectar cambios en la vibración o la temperatura.
• Control de calidad en procesos de fabricación, como detectar defectos en productos o detectar desviaciones de los estándares de calidad esperados.
• Patrones de utilización de energía inusual.

Cómo incorporar modelos en una arquitectura sin servidor

Un modelo de aprendizaje automático capacitado es un servicio en la nube que no utiliza ningún servidor de clúster en segundo plano; Por lo tanto, se puede incorporar fácilmente a una arquitectura existente sin servidor.

La automatización se realiza utilizando funciones AWS Lambda asociadas con una tarea de varios pasos dentro del servicio de funciones de paso AWS.

Por lo general, la detección inicial se requiere inmediatamente después de la adquisición de imágenes y el preprocesamiento en el bote de basura S3. Aquí es donde creará una detección de anomalías atómicas en las imágenes de entrada y almacenará los resultados en un lago de datos, como el representado por la base de datos de Athena.

En algunos casos, esta detección inicial no es suficiente para su caso de uso particular. Es posible que necesite otra detección más detallada. Por ejemplo, un modelo inicial (por ejemplo, reconocer) puede detectar algún problema en un dispositivo, pero no puede determinar de manera confiable cuál es el problema.

Es posible que necesite un modelo diferente con diferentes capacidades para hacer esto. En ese caso, puede ejecutar otro modelo (como buscar visión) en el subconjunto de imágenes donde el modelo inicial detectó el problema.

Esta también es una buena manera de ahorrar un poco de dinero, ya que no necesita ejecutar el segundo modelo en todo el conjunto de imágenes. En cambio, solo lo ejecuta en un subconjunto significativo.

Las funciones de AWS Lambda cubren todo ese procesamiento usando el código Python o JavaScript en el interior. Solo depende de la naturaleza de los procesos y cuántas funciones de AWS Lambda debe incluir en el flujo. El límite de 15 minutos en la duración máxima de una llamada Lambda de AWS determina cuántos pasos debe contener dicho proceso.

Ultimas palabras

Trabajar con modelos de aprendizaje automático basados en la nube es un trabajo muy interesante. Si lo observa desde una perspectiva de habilidades y tecnología, encontrará que necesita un equipo con una amplia variedad de habilidades.

El equipo necesita comprender cómo entrenar a un modelo, ya sea preconstruido o construido desde cero. Esto significa que se requiere muchas matemáticas o álgebra para equilibrar los resultados de confiabilidad y rendimiento.

También necesitará algunas habilidades avanzadas de programación, base de datos y SQL de Python o JavaScript. Y una vez que se realice todo el trabajo de contenido, necesitará habilidades de DevOps para ponerlo en una tubería que la convierta en una tarea automatizada lista para implementarse y ejecutarse.

Una cosa es identificar una anomalía y entrenar un modelo. Pero es difícil integrar todo esto en un equipo funcional que pueda procesar los resultados del modelo y almacenar los datos de una manera eficiente y automatizada de proporcionarlo a los usuarios finales

Siga leyendo para aprender todo sobre el reconocimiento facial para los negocios.