Системи зору тепер вважаються невід’ємною частиною багатьох промислових процесів, тому що вони можуть пропонувати швидкі, точно відтворені можливості контролю. Наприклад, у харчовій промисловості, де система технічного зору відіграє вирішальну роль у процесах, коли швидкість і точність надзвичайно важливі і допомагають забезпечити конкурентну перевагу для виробників. Сам харчовий продукт перевіряється на предмет контролю і якості порцій, а також на якість упаковки і маркування. Крім того, на фармацевтичному ринку потрібні найвимогливіші системи бачення, які не тільки перевіряють продукти, але також перевіряють використання та налаштування систем, забезпечуючи правильне дозування і контроль за процесами виготовлення ліків.
Історія розвитку роботозрения
Поняття промислових роботів з’явилося з першим офіційно визнаним пристроєм, який було створено в 1954 році. Але технічне зір у системах управління з відомими координатами було створено тільки в 1960 році, і якість його було дуже низьким, щоб використовувати для широкого застосування. Таке становище тривало до 1983 року, коли з’явилися перші комерційні системи бачення, після чого система стала життєздатною технологією, а тепер широко використовується у багатьох галузях виробництва.
Бачення приносить користь багатьох секторах виробництва, де робототехніка є однією з головних областей застосування. Одним з ключових моментів є той факт, що її можна розглядати як технологію включення в систему управління роботом. Роботи гарні в повторюваних завданнях, але погано враховують швидко мінливі параметри, тому, коли розташування продукту змінюється, робот-система не спрацьовує.
Система технічного зору дозволяє роботам «бачити» об’єкт і обчислити його X – і Y-позиції. Останнім часом роботи стали застосовуватися з можливістю дво – і трьох-бачення. Таким чином, ним стала доступна і третя координата, як правило, висота об’єкта. Список систем датчиків зображень, програмних пакетів і діапазон інтелектуальних камер постійно зростає, тому для будь-якого додатка існує технічне зір у системах управління роботами. З появою недорогих багатоядерних процесорів система розширила свої горизонти.
Оцінка роботизованих систем зору
Робота будь-якої системи повинна мати систему оцінок для визначення її ефективності. Така ж система і в роботозрении. Найбільш важливі показники при розробці систем технічного зору:
- Адаптивність: більшість додатків для роботизованого зору покладаються на дуже чітко визначені програми з попередньо запрограмованими функціями. Вони можуть дуже добре виявити конкретний заданий шаблон. Однак якщо щось незвичайне почне проходити перед камерою, воно може бути пропущено додатком. Хорошим прикладом цього може бути повністю автоматизований публічний тест CAPTCHA, де прості літери злегка деформовані, і будь-який тип системи зору не може їх виявити. Хоча цей приклад є проблемою на даний момент, але це всього лише питання часу, скоро це перешкода буде подолано роботизованими системами зору.
- Виявлення тенденцій: якщо система зору не була запрограмована для виявлення тенденцій або моделей, вона не зможе їх виявити. Хоча люди дійсно добре розбираються і визначають тенденції — техзрение має проблеми з асоціаціями. Кожна виявлена функція часто обробляється індивідуально, наприклад, якщо список помилок буде показаний працівнику-людині, він може його проаналізувати і визначити, чи є проблема з машиною у виробничому процесі. Система бачення не може цього зробити, замість того, щоб визначити, який фрезерний верстат зламався і зупинити його, вона зупиняє виробничу лінію повністю.
- Основною перевагою системи бачення є її послідовність і надійність. Якщо система технічного зору бачення знаходиться в правильному місці, вона завжди буде бачити, що щось не так. Вона порівняно з очима людини не втомлюється і завжди буде використовувати одні і ті ж параметри. Люди більш схильні до ризику протягом всього дня, тому що робітник може ставати все більш втомленим і менш уважним.
- Ще одна з причин, по якій виробники впроваджують систему — узгодженість і точність.
Перетворення координат
При розробці систем технічного зору враховують, що робот повинен відрегулювати себе у відповідності з орієнтацією деталей, схопити предмети з конвеєра, а потім укласти їх на палети. У цьому випадку датчики зору забезпечують зв’язок між випадково орієнтованої частиною і роботом. Наприклад, система машинного зору може бути застосована для управління роботами на машині для складання електронних друкованих плат.
Інший поширений клас додатків складається з роботів, які в процесі виробництва передають деталі з однієї на наступну операцію. Система бачення надає інформацію, яка дозволяє роботам захоплювати цільовий об’єкт і переміщати його на наступну операцію у виробничій або інспекційної системі.
Коли камера машинного зору виявить у полі зору об’єкт, камера знаходить і встановлює координати x і y об’єкта відносно верхнього лівого кута зображення – 0, 0 точки. Робот функціонує з власною системою координат, зосередженої на власній 0-й точці, що зазвичай не відповідає тій, яку використовує система бачення. Щоб спростити зв’язок між датчиком зору і роботом і дозволити роботу легко виконувати правильне дію, системи бачення перетворюють координати робота. Завдяки цій можливості вона перетворює інформацію про місцезнаходження точки інтересу в системі відліку камери в систему координат пристрою систем технічного зору.
На додаток до координат положення x і y системи часто повинні повідомляти роботам тета-координату 0 або кут повороту цільового об’єкта. Включення координати 0 дозволяє роботам визначати, де знаходиться ця частина, а також мати можливість її підняти. Інструменти Vision можуть повідомляти про позиції об’єкта і про те, як він обертається, тому робот може відрегулювати себе відповідним чином, перш ніж підняти об’єкт і виконати завдання.
Координати x, y і 0 певної частини можуть бути встановлені з використанням різних інструментів бачення, які є частиною програмних компонентів системи бачення. Точність, доступна в цих інструментах, розрізняється, як і час, необхідний для аналізу цікавить точки. Наприклад, інструменти надають координати x і y для випадків, коли ребро знаходиться на продукті. У системі технічного зору в робототехніці, якщо кілька інструментів виявлення краю об’єднані з інструментом аналізу, можна визначити кут або координату 0.
Кластеризація країв
Виявлення країв для виділення певних деталей із складного зображення. Як тільки система знаходить частина, вона використовує дані, зібрані з візуальної інформації, для зміни своєї програми і виконання завдань за призначенням. Це дозволяє роботові працювати з деталями, які зміщені, нахилені, перемішані в контейнері або іншим чином виведені з розрахункового положення. Щоб використовувати систему бачення таким чином, повинна бути певна форма калібрування, де робот може пов’язувати візуальні дані з відстанню. Ці властивості застосовуються в системах технічного зору для контролю якості.
При використанні 2D-зору або однієї камери, вона повинна перебувати в одному і тому ж положенні кожен раз, коли потрібно знайти зображення і відстані від цієї точки, тобто повинна бути якась форма калібрування. При об’ємному баченні дві камери або зображення з двох місць визначають відстань.
3D-система також вимагає калібрування, а у випадку двох камер розташування камер відносно один одного, що є частиною калібрування. 3D-система технічного зору ds1000 може вимірювати функції деталей на микроном рівні, забезпечуючи якість кожної деталі під час роботи. Системи бачення «все в одному», які підключаються безпосередньо до робота і обробляють всю обробку даних, не є чимось новим для ринку робототехніки.
Наприклад, CMUcam5 Pixy — це все в одній системі бачення, яка працює з Arduino, Raspberry Pi і BeagleBone для розпізнавання кольору, об’єктів і розпізнаванням обличчя на цьому шляху. Раніше для забезпечення цієї функціональності для хобі-роботів знадобилося або велику кількість роботи, або дорога система, але Pixy спростив надання можливостей системи технічного зору мобільного робота.
Камера для обробки зображень
Для всіх систем промислового зору потрібно елемент програмного забезпечення для системи зору, чи то просто управління камерою або виконання індивідуального додатки, все одно потрібна хороша камера. Для багатьох потреб в галузі промислового контролю проста конфігурація середовища розробки техзрения з використанням простих користувальницьких інтерфейсів дозволяє розгортати найбільш економічні рішення. Для більш вимогливих компаній, з хорошими навичками розробки програмного забезпечення часто використовують існуючу бібліотеку програмного забезпечення.
Завдяки складним засобам обробки і вимірювання зображень і простим для користувача інтерфейсів точок і кліків, системи бачення грають свою роль у процесі автоматизації, але також забезпечують потужну зв’язок з робототехнікою. Це частина системи, яка буде висвітлювати зовнішній світ і перетворювати його в цифрові дані і можуть оброблятися і аналізуватися системою технічного зору insight.
Спочатку камери складалися з невеликої кількості фотоелементів (близько 2 тис. пікселів), розташованих за об’єктивом, і щоб визначити форму зображень, обробляли сірий колір з 256 різних відтінків. Сьогодні камери, що використовуються в системі, варіюються від 2 мегапікселів до повного кольору і використовують для роботи 4095 різних відтінків. Цей великий обсяг даних спростив обробку зображень, оскільки він надає безліч інформації, і не обов’язково швидкісну.
Процесорний компонент
Це наступний основний компонент системи бачення. Процесор перетворить всі необроблені дані з камери в корисну інформацію для робота. Існує два основних методи обробки інформації з точки зору виявлення та кластеризації.
При виявленні кромок процесор шукає різкі відмінності в світлових даних від камери, які потім розглядає край. Як тільки він знаходить перевагу, процесор дивиться на дані з пікселів поблизу, щоб побачити, де ще він може знайти аналогічну різницю. Цей процес продовжується до тих пір, поки не знайде задану контурну інформацію для зображення.
При кластеризації процесор знаходить пікселі, які мають ідентичні дані, а потім шукає інші пікселі поруч з однаковими або близькими до них даними. Цей процес створює зображення, використовуючи дані, зняті камерою. Як тільки процесор визначити його, як зображення, він форматує інформацію у щось, що робот може використовувати, і відправляє в систему.
Остання ключова частина технічного зору в системах управління мобільними об’єктами — кабельна розводка. У більш ранніх технологіях кабелі зв’язку, які використовуються для систем відеоспостереження, були незручними і обмеженими в тому, як далеко вони могли відправляти дані без втрат.
Приблизно в 2009 році Adimec розробив новий спосіб надсилання даних, які дозволили передавати більше 6 Гбіт/с по коаксіальному кабелю, і назвав його CoaXPress. Цей протокол і ті, які були випущені пізніше, забезпечили використання одного коаксіального кабелю для передачі даних, незважаючи на те, що обсяг даних, які потрібні для передачі, продовжує зростати.
Не всі системи бачення використовують тільки один коаксіальний кабель для передачі даних, тому важливо, щоб ті, хто працює з системами бачення, розуміли специфіку та обмеження системи, які у них є.
Додатки Vision System
Коли справа доходить до додатків системи бачення, деякі із захоплюючих і популярних варіантів мають можливість розпізнавання осіб, системи безпеки, пошук деталей і контроль якості.
Розпізнавання облич — це здатність система технічного зору зіставляти зображення людини з даними, що зберігаються в його пам’яті. У багатьох відношеннях це всього лише адаптація розпізнавання деталей, але результат — набагато більш точна робота з роботом. Наприклад, можна запрограмувати робота NAO Aldebaran, щоб розпізнати обличчя, а потім відповісти повідомленням, використовуючи ім’я, створюючи персоналізований досвід при взаємодії з ним.
Крім соціальних застосувань, ця технологія також має відмінні програми для забезпечення безпеки. Замість того, щоб ризикувати життям людей, можна використовувати робота для відмови в реєстрації або пошуку неавторизованих осіб на основі бази даних схвалених сканувань особи. Робот Baxter, створений Rethink Robotics, є прекрасним прикладом цього завдяки його 360-градусної гідролокатором і фронтальної передній панелі.
У будь-який час, коли Бакстер відчуває людини, робот сповільнюється до безпечної швидкості і уважно стежить за зворотним зв’язком системи за будь-яких вказівок на зіткнення, зупиняючи всі рухи, перш ніж хтось може постраждати. Крім того, Baxter використовує свою систему бачення для пошуку деталей і, при необхідності, регулювання положення.
Відомі програмні пакети для машинного зору, такі як Common Vision Blox, програмне забезпечення Scorpion Vision, Halcon, Matrox Imaging Library або Cognex VisionPro – це програми, які запускаються в Microsoft Windows і використовуються для створення розширеного і потужного програмного забезпечення для автоматизації, приймає вхідні і вихідні дані зображення на основі заданого зображення. У кінцевому рахунку, в комерційному бачення машини, обробка зображень використовується для класифікації, читання символів, розпізнавання фігур або вимірювання.
Розташування камер огляду
В залежності від застосування система технічного зору буде розміщуватися в роботизованою камері в різних місцях. З усіма різними типами роботів, камер та додатків є нескінченна кількість рішень щодо того, де можна розмістити камеру і що з нею робити. Однак існують основні способи налаштування камери:
- Кінець руки. Різні програми повинні стежити за тим, що робот захоплює, деякі виробники роботів вбудовують камери безпосередньо на зап’ясті робота. Це дозволяє камері переміщатися в різних напрямках у просторі, знаходити частину і, відповідно з кінематикою робота, захопити її. Оскільки камера часто знаходиться поруч з захопленням, вона також може відстежувати, чи правильно захоплена частина або якщо вона була видалена під час маніпуляції. Розміщення камери на кінці руки робота означає, що вона постійно переміщується. Якщо потрібно зображення захоплювальній області, зупиняють робота в правильному положенні, переконуються, що камера стабільна, а потім роблять знімок. Якщо для програми потрібно дуже короткий час циклу, може знадобитися змінити цю опцію.
- Застосування сцени — інший вид системи, в ній можна фіксувати і постійно дивитися на сцену, наприклад, де деталі представлені в різних положеннях і орієнтаціях на конвеєрі. Як тільки частина проходить перед камерою, знімок береться і аналізується, щоб побачити, де знаходиться деталь і її орієнтація щодо робота. Моніторинг стільникового зв’язку.
- Існує також вид системи технічного зору роботів, який використовується для вимог безпеки. Камера або набір камер можна встановити безпосередньо на роботі або на майданчику, де він розміщений, щоб контролювати, чи входить людина у робочий простір робота. Оскільки більшість спільних роботів не мають зовнішньої безпеки, цей метод можна використовувати для регулювання швидкості робота у відповідності з відстанню між роботом та людиною.
Система 3D-бачення
Застосування зображень, 3D-камер швидко зростає порівняно з використанням 2D-камери. Використовуючи декілька датчиків обсягу і положення, в поєднанні з 3D-лазерним сканером часу, можна докладно створювати 3D-моделі продуктів виробництва. Такі 3D-скани створюються з допомогою лазера часу прольоту, який вимірює час, необхідний для проходження світла між деталями або продуктами. Найбільша перевага цього методу полягає в тому, що його можна використовувати для будь-якої поверхні і розмірності. Це дозволяє роботові розпізнавати випадково розміщені об’єкти та переміщувати їх для впорядкування розташування одних і тих же продуктів.
Креветка Мантиса має найбільш вражаючі очі в природі, в чотири рази більше рецепторів кольору, ніж у людей. Виробники довгий час покладалися на людське бачення складних процесів комплектування та складання, але системи 3D-зору починають перевершувати можливості людини в системах технічного зору роботів. Abandon CAD — просунуті 3D-системи бачення різко контрастують з програмним забезпеченням бачення минулого. Багато існуючі системи як і раніше, вимагають професійного програмування САПР, щоб робот міг розпізнавати форми. Однак це програмне забезпечення може відчувати труднощі з одночасним розпізнаванням декількох елементів.
Загальним додатком для систем бачення є видалення і сортування товарів з контейнера. У той час як системи на базі САПР можуть ідентифікувати елементи в контейнері, завдання полягає в розпізнаванні позиції кожного елемента при його поданні в довільному порядку, не кажучи вже про визначення оптимальності для робота. Розширені системи бачення усувають цю проблему, використовуючи пасивну візуалізацію, щоб робот міг автоматично ідентифікувати предмети незалежно від їх форми чи порядку.
Система зору Toshiba Machine, TSVision3D, використовує два високошвидкісні камери для безперервного захоплення тривимірних зображень системами технічного зору, що застосовуються в лазерних технологіях. Використовуючи інтелектуальне програмне забезпечення, система може обробляти ці зображення і визначати точне положення елемента. Це визначає найбільш логічний порядок підбору їх і робить це з точністю до міліметра, з тією ж легкістю, що і робочий.
Перспектива розвитку галузі
У такій галузі, як машинне зір, нові стандарти і технології вводяться безпрецедентно швидко. Очікується, що в 2018 році промисловість галузі систем технічного зору робототехніки зросте на десять відсотків і більше. Фактично промислові джерела в даний час прогнозують, що глобальні продажі компонентів машинного зору досягнутий приголомшливих 19 мільярдів доларів США до 2025 року або майже вдвічі перевищать його поточну вартість. Такий зростання забезпечене необхідним рівнем фінансуванням для нових передових технологій та оновлення існуючих.
Провідні розробники технічного зору в робототехніці:
- VS Technology Corp з 1997 року є провідним виробником оптичних лінз, оптичних компонентів і системи освітлення в індустрії машинного зору.
- NorPix провідний розробник програмного забезпечення для цифрового відеозапису і високошвидкісний відеозапису з використанням однієї або декількох камер.
- Lumenera, структура Roper Technologies, Inc. виробляє високопродуктивні цифрові камери і користувальницькі OEM-рішення зображень, використовуваних для промислових, наукових, наглядових та астрономічних додатків.
- Vieworks Co Ltd, фірма, заснована в 1999 році, активно працює на ринках цифрових зображень з використанням своїх чудових технологій візуалізації.
- Euresys, провідний виробник компонентів для збору зображень, відео та програмного забезпечення для обробки зображень, що володіє більш ніж 25-річним досвідом в області візуалізації зображень, охорони здоров’я, ІТС та відео спостереження. Saber1 Technologies LLC з 2000 року є провідним постачальником цифрових зображень, аксесуарів, систем і рішень.
- Teledyne DALSA, більше 30 років є світовим лідером у наданні компонентів і рішень для машинного зору. Teledyne DALSA — єдина в світі компанія, що володіє основними технологіями, необхідними для сприйняття, захоплення і обробки зображень з використанням потужних, інноваційних датчиків зображення, камер і плат збору даних для складного програмного забезпечення для зору та інтелектуальних систем бачення.
- IMPERX, INC — американський виробник високоміцних виробів для машинного зору протягом майже двох десятиліть, має великий набір ліній CMOS і CCD—камер, а також широкий асортимент ноутбуків і настільних Framegrabbers.
- DAHENG IMAGING, заснована в 1991 році на технологіях, накопичених в Академії наук Китаю, є провідною компанією в Китаї, яка створює, розробляє, виробляє і продає машини-роботи, компоненти та вирішення медичного сектору.
Таким чином, можна підвести підсумок, що всього лише кілька років тому, коли система стояла біля витоків свого розвитку, вона була досить примітивною. Оскільки промислові камери не були такими передовими, як сьогодні, а роботизована логіка була ненадійною, більшість розглянутих додатків були з розряду мрії і технічно неможливим. Тепер, завдяки смартфонам, процес технології камер рвонув вперед, а просування зручних для користувача «інтелектуальних камер» зробив технологію технічного зору простіше, ніж коли-небудь.
