Manipulator (robohand): Arduino ESP8622 (wifi remote control) Yolo

Проект роборука. В точку интереса кладётся объект крыжечка: зелёная или белая. Ксть ещё две отметки: точка для сброса зелёной (слева) и точка для броска белой (справа) крыжечек. Диод горит зелёным, что означает esp8266 подключился к сети wifi и ардуино готов выполнять команды. Красный диод сигнализирует о выполняемой задаче, что нужно дождаться статуса “готов - зелёного цвета диода“. Задача: web-камера следит за точкой интереса и распознаёт в зоне видимости крыжечку. Когда в камеру попадает изображение, оно отправляется по проводу в компьютер. ПК с помощью дообученной на этих двух крыжечках модели yolo распознаёт одну из двух крыжечек: белую и зелёную. Далее отправляет команду по wifi в локальной сети на ардуино с цифрой, которая означает, что обнаружена либо зелёная (цифра 1), либо белая (цифра 2) крыжечка. Ардуино начинает выполнять сценарий поворотов и наклонов для взятия и броска крыжечки в заранее определённую для этого цвета место. Крыжечки триггерят комманды по одной за раз по очереди. Т.е. выполнив команду, например, для белой крыжечки, повторно команда на ардуино отправляться не будет - это предотвращает ненужные срабатывания, так как распознавание происходит независимо с задержкой один кадр в секудну. The robo-arm project puts a gooseberry object at the point of interest: green or white. there are two more marks: a point for dropping green (on the left) and a point for throwing white (on the right) gooseberries. The diode is green, which means the esp8266 is connected to a wifi network and the arduino is ready to execute commands. the red diode indicates the task being performed, that you need to wait for the status of “ready - the green color of the diode“. Task: the webcam monitors the point of interest and recognizes a gooseberry in the field of view. When an image enters the camera, it is sent over the wire to the computer. The PC, using the yolo model trained on these two gooseberries, recognizes one of two gooseberries: white and green. Next, it sends a command via wifi on the local network to the arduino with a digit, which means that either a green (digit 1) or a white (digit 2) gooseberry has been detected. Arduino begins to execute a scenario of turns and tilts to take and throw a gooseberry at a pre-determined place for this color. Gooseberries trigger commands one at a time in turn. I.e. by executing a command, for example, for a white gooseberry, the command will not be sent to the arduino again - this prevents unnecessary triggers, since recognition occurs independently with a delay of one frame per second. #arduino #yolo #iot #wifi #remote_control #diy #manipulators