서 론
참외의 재배시설은 비닐하우스 내 양쪽으로 2개의 터 널이 설치되어 있으며, 이 터널 사이를 작업공간으로 이 용하여 인력으로 수확작업을 실시하고 있다. 참외 수확 작업은 고온다습하고 폐쇄된 작업환경, 불편한 자세의 장기간 노동 및 더운 환경 노출되어 있기 때문에(Bae 등, 2005) 수확작업의 기계화 및 무인화가 우선적으로 필요하며, 로봇을 이용한 수확기 개발이 필요하다. 또한, 밤에도 수확이 가능하여 적절한 품온관리로 저장기간이 증가하고 1차적으로 정밀한 선별이 가능한 로봇을 이용 한 참외 수확기 개발이 필요하다.
시설재배 수확 로봇의 연구를 살펴보면, 작물별로 오 이(Min과 Lee, 2004b; Van Henten 등, 2002), 딸기(Kim 등, 2007; Yamamoto 등, 2008), 토마토(Kondo 등, 1995; Monta 등, 2000; Son 등, 2000), 수박(Hwang 등, 2003), 포도(Lee 등, 2000) 등이 있다. 주로 재배환경이 수직 또는 경사로 재배되는 작물을 수확하는 로봇이 대부분으 로서, 엔드이펙터는 주로 줄기를 그립하여 줄기를 커팅 하거나 과육을 그립하여 줄기를 비틀어서 수확하는 방식 이다(Min 등, 2003b). 머니퓰레이터는 3~10 자유도를 가지는 다관절형의 방식으로 되어있다(Min 등, 2003a; Min과 Lee, 2004a). 인식방식은 머신비전에 있어서는 흑 백 또는 칼라 CCD 카메라를 사용하여 과일의 빛깔과 잎 빛깔의 분광특성 차이에 의해서 양자를 식별하는 방 식이다. 주행방식은 시설 내부에서 자주형의 주행바퀴에 로봇을 탑재하는 방식이거나 주행 레일을 따라 이동하는 방식으로 되어있다(Kweon 등, 2001).
그러나 참외는 토양에서 수평으로 재배되며, 참외가 잎으로 덮여져 있어 인식이 어렵고, 덩굴성 줄기로 인해 참외를 그립하기에도 매우 불리한 재배환경에 놓여 있기 때문에 타 농산물 수확 로봇과는 상이한 구조로 설계되 어야 한다. 이를 위하여 선행연구(Ha와 Kim, 2013)에서 시설재배에서 참외를 수확할 수 있는 로봇의 엔드이펙터 의 설계 요인을 분석하였다. 참외의 엔드이펙트 중에서 소프트 핸드링이 가능한 그립퍼와 참외줄기를 절단하는 커터를 설계하기 위해 참외의 기하학, 압축, 절단, 마찰 특성 등을 분석하였고, 이를 이용하여 그립퍼 및 커터의 크기, 선회반경, 설치위치, 구동모터의 동력, 재료 및 재 질 등을 제시하였다.
따라서 본 연구에서는 시설하우스에서 재배되는 참외 의 환경에 적합하도록 엔드이펙터, 머니퓰레이터, 인식장 치, 주행장치 등의 참외 수확 로봇을 설계 및 제작하고 그 성능을 시험하였다.
재료 및 방법
본 연구는 시설하우스 참외의 재배환경과 수확동작의 변수 조건들을 검토하여 참외 수확 로봇의 구성요소인 엔드이펙트, 머니퓰레이터, 인식장치, 통합제어장치 등을 설계하였다.
1 시스템의 구성 및 작동원리
참외 수확로봇의 구성은 비닐하우스 내부에 양쪽으로 2개의 작업레일을 두고, 레일 위에 개발될 로봇시스템이 놓이게 된다. 수확로봇 시스템은 레일 위를 수평으로 이 동할 수 있도록 되어 있으며, 이동레일 위에는 로봇의 머 니퓰레이터, 운반장치, 인식장치, 엔드이펙트가 장착된다.
로봇의 작동 알고리즘은 Fig. 1과 같다. 1차 인식장치 부터 획득되고 처리된 화상정보를 이용하여 머니퓰레이 터가 참외의 위치로 이동하게 된다. 이때 머니퓰레이터 는 주행레일 위의 제 1베이스 전후진동작, 제 1베이스 위의 제 2베이스의 좌우동작, 엔드이펙터의 회전동작 및 상하동작으로 참외의 대상위치로 이동이 된다. 이동된 엔드이펙터에 장착된 거리센서로 참외의 대상물에 접근 하게 되고, 2차 인식장치의 인식된 화상정보로부터 참외 의 색깔에 대한 분광특성 등의 차이에 의해 참외를 식 별한다. 최종적인 수확 자세를 취하게 되면 그립퍼가 참 외를 잡고 커터장치가 줄기를 제거하게 된다. 수확된 참 외는 운반장치에 이동하면서 참외가 운반장치에 담겨지 도록 수확된 참외를 놓는 동작을 하게 된다. 수확로봇은 정지신호가 입력될 때까지 계속해서 같은 작업을 반복하 게 된다.
2 엔드이펙트의 설계 메커니즘
참외 수확 로봇이 수확 동작을 행하는 과정에서 먼저 참외를 그립하고 꼭지부의의 줄기를 절단하는 절차를 수 행하기 때문에 참외를 잡는 그립퍼와 작동 하중, 줄기를 절단하는 커터의 형상 등이 설계의 중요한 인자이다. 또 한, 엔드이펙트가 수확 동작을 행하는 과정에서 참외가 놓인 방향 및 위치, 참외의 크기 변화에 따른 중심좌표 와의 오차, 줄기의 방향, 잎과 넝쿨 등의 방해요소 등 여러 가지 변수 조건들을 고려하여야 한다.
본 연구에서는 선행연구(Ha와 Kim, 2013)에서 분석된 결과를 바탕으로, 그립퍼의 선회반경은 최소 50~80mm, 커터의 선회반경은 최소 8mm 이상, 참외의 압축강도는 배꼽부를 기준으로 36.5N/cm2, 줄기 절단강도는 최소 7.21N의 값을 이용하였고, 이 결과값에 안전율을 감안하 여 엔드이펙트의 그립퍼 및 커터의 크기와 선회반경, 설 치위치, 구동모터의 동력 등의 설계에 적용하였다.
또한, CATIA V6.5를 이용하여 참외 수확로봇의 엔드 이펙트를 모델링하였고, 이를 이용하여 엔드이펙터의 간 섭여부와 동작상태를 분석하기 위하여 구동 시뮬레이션 을 실시하였다.
3 머니퓰레이터의 설계 메커니즘
머니퓰레이터는 다관절 로봇에 비해 작업 반경이 넓고 제어시스템을 간단히 할 수 있는 구조로 설계하였다. 머 니퓰레이터는 참외를 수확하기 위한 주 이송수단이며, 시설하우스 내에 중앙부에 설치되어 좌우 이송반경을 극 대화하기 위한 구조로서 작업가능한 거리는 좌우 2.5m 이상이 되어야 한다. 머니퓰레이터 끝단에 참외를 수확 하고 적재하기 위한 그립퍼와 참외가 놓여진 각도에 따 라 정확한 줄기커팅이 되도록 하는 커팅장치가 부착되도 록 설계하였다.
4 인식장치의 설계 메커니즘
참외의 인식장치의 알고리즘은 Fig. 2와 같다. 1차 인 식장치인 Global view camera(GVC)로 작업 공간에 놓 인 참외의 대략적인 위치를 인식하고 간접적으로 숙도 및 형태의 이미지를 파악한다. 2차 인식장치인 Local view camera(LVC)는 인식된 화상정보로부터 참외의 색 도 등의 차이를 이용해 참외를 식별하고 그 중에서 당 도나 숙도를 색상정보로 예측하여 수확할 것과 수확하지 않을 대상물을 분리하여 선별한다. 참외 객체와 참외 이 외의 영역을 RGB 컬러채널정보를 이용하여 구분하는 방법을 사용하였다. 먼저 카메라로부터 수확할 참외가 포함된 영상을 획득하고 획득영상을 제안한 RGB 컬러 채널정보의 RGB line profile을 분석하여 참외와 참외 이외의 객체를 분리하는 전처리 작업을 수행한 후, 이진 화 영상을 획득한다. 획득된 이진화 영상은 Binary large object(BLOB) 해석을 통해 참외 객체를 분할한 후 영상 에서의 좌표를 획득한다. 수확로봇이 참외 작물을 수확 하기 위해서는 실제 위치의 좌표가 필요하므로 카메라의 해상도와 실제 촬영된 위치 등을 고려하여 영상좌표를 실제 위치 좌표로 변환하여 수확로봇에게 전송하도록 설 계하였다.
5 통합 제어시스템 설계 메커니즘
Fig. 3은 수확로봇의 통합제어 알고리즘을 나타내고 있다. 영상처리 프로그램과 엔드이펙터 구동프로그램 및 머니퓰레이터 구동프로그램의 각각의 알고리즘을 이더넷 통신으로 실시간 정보를 read/write를 하면서 수확작업을 원활하게 하기 위한 통합제어시스템으로 설계하였다.
6 참외 수확로봇의 성능시험
참외 수확로봇의 성능시험을 위해 성주군 농업기술센 터 내의 시설하우스 시험포장에서 실시하였다. 대상작목 은 품종이 부자꿀인 참외를 이용하였으며, 수확시기는 4 월 초순에서 하순까지 실시하였다. 시험포장면적은 Fig. 4와 같이 2 × 2m(가로 × 세로)를 동일 비닐하우스 내 5 지점을 임의로 선정하였고, 선정된 포장 내의 참외의 개 수를 측정한 후 그 값을 평균하였다. 평가항목은 수확시 간, 픽업율, 손상율, 선별율의 4가지 항목이며 식 1~4과 같이 평가하였다.
H : 수확시간, sec/ea
P : 픽업율, %
D : 손상율, %
Lh : 선별율, %
T : 측정구간의 총 수확시간, sec
Gc : 측정구간의 수확된 참외개수, ea
Gd : 수확시 손상된 참외개수, ea
Ga : 측정구간의 실제 참외개수, ea
Gh : 측정구간의 인식된 참외개수, ea
결과 및 고찰
1 참외 수확로봇의 설계 및 제작
1.1 엔드이펙터
엔드이펙터는 Fig. 5와 같이 수확물을 잡기 위한 그립 퍼와 줄기를 절단하는 커터 등으로 설계 및 제작하였다. Table 1은 참외 수확로봇의 엔드이펙터 제원을 나타내었 다. 그립퍼는 참외를 잡을 수 있도록 열고 닫는 선회운 동이 되도록 하였고, 선회시에 참외 직경이 최소 55mm, 최대 165mm까지 참외를 잡을 수 있도록 설계하였다. 핑거는 핑거 사이에 참외를 위치시키며 수확물을 둘러싸 도록 접촉면은 타원형의 기하학적인 형상이며, 핑거의 두께는 12mm로 접촉면적을 크게 하여 참외에 걸리는 집중하중을 분산시키도록 하였다. 참외를 안정적으로 잡 기 위하여 핑거의 수는 4개를 사용하였고, 2개의 핑거가 마주보며 동시에 구동하도록 하였다. 참외에 접촉되는 핑거에 마찰계수를 높이고 수확물에 손상을 주지 않기 위해 부드러운 재질의 실리콘 탄성체를 끼워 참외에 상 처를 내지 않도록 플렉시블한 소재를 이용하였다. 그립 퍼 안쪽은 부드러운 재질의 핑거가 열고 닫는 것이 가 능해야 하고, 물체를 잡고 유지할 만큼의 충분한 힘을 가할 수 있도록 그립퍼 기구에 입력되는 힘은 서보모터 (HF-KP053, Mitsubishi, Japan)에 의해 구동되며 수확물 을 잡는 파지력을 토크에 의해 조정할 수 있도록 제작 하였다. 참외를 그립한 후에는 가위형태의 절단날을 이 용하여 수확물의 줄기를 자르는데, 줄기는 항상 수평위 치에 있지 않기 때문에 오차를 감안하여 커터를 참외 중심부로부터 25mm 아래까지 위치시키고, 선회반경은 40mm로 여유 있게 제작하였다. 그립퍼의 구동 메커니즘 은 서보모터의 구동으로 이송나사가 회전하면 이송너트 가 상하로 직선운동을 하고 이송너트의 상하운동으로 핑 거의 윗단의 가이드홈을 따라 가이드가 상하로 작동하면 서 핑거를 선회하도록 하였으며, 동작 후 핑거는 스프링 에 의해서 복귀되도록 하였다. 커터의 구동 메커니즘도 그립퍼와 유사하지만 링크의 구조로 되어 있다.
Table 1.
Specification of end-effector.
엔드이펙터의 간섭여부와 동작상태를 분석하기 위하여 구동시뮬레이션을 실시하였고 그 결과를 Table 2에 나타 내었다. 그립퍼의 끝지점에서 x 변위값은 18.88~55.72mm 로서 변위폭은 36.84mm, y 변위값은 120.52~125.42mm 로서 변위폭은 4.9mm, 선속도는 122.16~151.9mm/s로서 변동폭은 29.74mm/s, 선가속도는 9.3~11.6m/s2로서 변동 폭은 2.3m/s2이며, 각속도는 9.3~11.6rev/min, 각가속도는 0.51~1.46rad/s2로 나타났다. 커터의 끝지점에서 x 변위값 은 −11.5~28.14mm로서 변위폭은 39.64mm, y 변위값은 54.72~60.45mm로서 변위폭은 5.73mm, 선속도는 117.55~ 253.90mm/s로서 변동폭은 136.35mm/s, 선가속도는 0.233~ 2.795m/s2로서 변동폭은 2.56m/s2이며, 각속도는 18.23~ 39.4rev/min, 각가속도는 1.03~42.12rad/s2로 나타났다.
Table 2.
Kinematic changes of end-effector.
1.2 머니퓰레이터
머니퓰레이터는 Fig. 6과 같이 중심축을 기준으로 회전 을 하는 L-R형 모델에 직교 좌표형과 셔틀형 머니퓰레이 터를 조합한 X-R1-Z-R2의 4축 구조이다. 머니퓰레이터 (X-R1)는 참외를 수확하기 위한 주 이송수단이며, L부분 (X축)은 셔틀형으로 좌우 이송반경을 극대화하기 위한 구 조로서 작업가능한 거리는 좌우 2.5m 이상이다. R부분은 360도 회전이 가능하며 그리퍼가 한쪽에만 장착하여도 좌우 양쪽으로 수확 작업할 수 있도록 하였다. L 머니퓰 레이터 끝단에 참외 높이, 수확 적재를 위한 볼스크류 타 입 상하구동 머니플레이트(Z축)와 참외 각도에 따른 정확 한 줄기커팅을 위한 회전모타(R2)를 장착하였다.
1.3 인식장치
위치인지 프로그램은 Visual C++, MFC, OpenCV를 사용하여 GUI기반으로 개발하였다. 인식장치인 카메라 GVC와 LVC는 별도로 설치하여 1차 인식장치인 GVC 로 작업 공간에 놓인 참외의 대략적인 위치를 인식하고, 2차 인식장치인 LVC는 인식된 화상정보로부터 참외의 색도 등의 차이를 이용해 참외를 식별하도록 하였다. 영 상인식 실험에서 실제 참외 재배하우스에서 촬영한 사진 을 이용하여 참외 및 잎, 줄기 등은 노란색과 녹색으로 명확히 구분되어 참외영역을 명확히 인지하였고, 모폴로 지 연산 후 객체분할된 영상에서 비교적 정확한 중심좌 표 값을 도출하였다. Fig. 7에서는 실제로 획득한 영상 을 이용하여 Global View 시스템을 통해 참외에 대한 위치인지 프로세스를 수행한 결과와 영상이다.
검출결과 잎, 줄기에 의해 가려진 정도가 50% 미만일 때 참외 검출이 80% 이상 가능하였으며, 획득한 참외의 특징정보에 대한 결과 값은 Fig. 7의 GVC에 나타난 것 과 같이 저의 정확함을 알 수 있었다. Global View에서 검출된 참외의 영상에서 각 개별 참외의 위치 보정, 방 향각 특성, 크기, 숙도 등을 판별하기 위한 Local View 단계로 획득된 위치, 방향각, 크기 정보가 거의 정확한 것을 영상과 결과 값으로 확인할 수 있었다.
1.4 통합제어시스템
통합제어시스템은 유무선 허브를 이용한 와이파이가 장착된 컴퓨터에 터치모니터로 스위칭 및 데이터 입력과 작업을 모니터링을 하며 외부 컴퓨터와 무선으로 작업을 원격제어가 가능하게 제작하였다. 머니플레이트 구동 제 어시스템은 모션카드 및 이더넷 카드를 사용해 PC와 머 니퓰레이터를 연결하여 구동된다. Fig. 8은 통합 컨트롤 러의 블록도와 개발한 제품을 나타내고 있다. 통합제어 시스템은 x축 머니퓰레이터 뒷면에 로봇 컨트롤 시스템 이 장착되고 전면에는 컴퓨터 시스템이 장착 되었으며 하부에는 메인 전원부 및 머니퓰레이터 컨트롤러 드라이 브가 장착되었다.
2 참외 수확로봇의 성능시험
성능시험에 사용된 수확로봇은 Fig. 9와 같이 그린하 우스 내부에 레일을 설치하고 레일을 따라 이동되도록 하였다. 시험항목은 수확시간, 픽업율, 손상율, 선별율의 4가지 항목으로 나누어 측정된 값을 Table 3에 나타내었 다. 성능실험은 5회 반복실험하여 수확된 참외개수는 평 균 11.0개이며 총 수확시간은 평균 198.0초로 수확시간 은 평균 18.2sec/ea 로 나타났다. 측정된 구간에서 실제 참외개수는 16.6개에서 인식된 참외개수는 평균 12.0개 로 선별율은 72.6%이며 수확된 참외개수는 평균 11.0개 로 픽업율은 평균 91.4%로 나타났다. 수확된 참외개수 는 평균 11.0개이며 손상되지 않은 참외개수는 평균 10 개이고 손상된 참외개수는 평균 1.0개로 손상율은 평균 8.2%로 나타났다.
Table 3.
Performance results of the melon harvesting robot.
| Item | Harvest time (sec/ea) | Pick-up rate (%) | Damage rate (%) | Sorting rate (%) |
|---|---|---|---|---|
| Valuesz | 18.2 ± 3.2 | 91.4 ± 9.4 | 8.2 ± 5.5 | 72.6 ± 3.8 |
이상의 결과는 4월의 참외 수확시 결과로서 6~8월의 수확 기간에는 무성해진 잎이 참외를 덮고 있기 때문에 참외 인식이 어렵고, 로봇그립이 참외를 잡을 때 넝쿨의 방향이 일정하지 않아 넝쿨도 같이 그립되기 때문에 수 확시간, 픽업율, 손상율, 선별율 등이 낮아질 것으로 판 단된다. 참외의 픽업율과 선별율을 향상시키기 위해서 엔드이펙트에 잎과 넝쿨을 손상시키지 않고 걷음 처리를 할 수 있는 장치의 개발이 필요하며, 다양한 환경 변수 조건에서 시험을 하고 보완을 한다면 시설재배에서 참외 수확작업의 기계화 및 무인화가 가능할 것으로 판단된다.
