Introduction
인간과 로봇의 협동(Human-robot collaboration)
로봇과 로봇의 협동
다중 협동 로봇 (Multi-robot collaboration)
다중 로봇팔의 협동 시스템(Multi-arm robot collaboration)
Conclusion
Introduction
현재 농업 인구의 감소와 고령화로 인한 일손 부족은 농업 포기나 전업을 선택하는 주요 요인으로 작용하고 있다. 노동력 부족으로 인한 작업시간 및 유지비 절감 등을 위해 첨단기술과 접목하여 자동화 및 로봇화 부분에 많은 연구와 투자가 진행되고 있다(Park et al., 2017). 특히, ‘정밀농업(Precision agriculture, PA)’이라는 개념이 부각되며 큰 주목을 받고 있으며, 시각적 데이터를 수집, 처리 및 분석함으로써, 이를 다양한 정보와 통합하여 농업 환경에서 의사결정의 효율성, 수확량, 품질, 지속 가능성 등을 향상시키는 하나의 방법이다(Joo et al., 2022; Lowenberg-DeBoer and Erickson, 2019).
농업 분야에 로봇을 도입하는 것은 정밀한 측정 및 관리 그리고 자동화를 통해 정밀 농업의 핵심 목표인 작업 효율성, 생산성, 지속 가능성을 실현할 수 있는 효과적인 수단임을 보여준다. 이러한 부분에서, 농업 노동력에 로봇을 도입하게 되었을 때 노동력 효과를 분석한 연구가 제시되어 있다(Marinoudi et al., 2019). 또한 로봇이 인간을 대체함으로써 실현 가능한 다양한 응용 분야가 존재한다. 농업에서 로봇을 도입하는 주된 목적은 효율성과 생산성 향상, 계절 노동자 부족 문제 대응, 노동 강도가 높거나 위험성이 존재하는 작업의 수행 등이 있다. 실제로 이식, 방제, 경운 등 다양한 농업 분야 중에서도 농작업 로봇에 대한 연구가 집중적으로 이루어지고 있다(Cho et al., 2023; Edan et al., 2009). 농작업 로봇은 복잡한 작업 환경을 인식하고, 주어진 목표와 환경 정보를 융합하여 정밀한 작업을 수행할 수 있어야 한다(Edan et al., 1994). Schertz와 Brown(1968)이 농작업 로봇의 초기 개념을 제시한 이후, 해당 기술은 빠르게 발전해 왔으며, 센서와 컴퓨터 비전, 인공지능 기술의 진보에 힘입어 로봇의 자율성과 정밀성이 크게 향상되었다(Taqi et al., 2017; Botta et al., 2022; Meshram et al., 2021).
농업 현장에서 로봇 기술의 적용은 단순한 자동화에 그치지 않고, 복잡한 작업 환경에서의 정밀성을 높이기 위한 개념으로 확장되고 있다. 그러나 기존의 단일 로봇 시스템은 작업 수행 능력에 한계가 있다. 최근에는 로봇 간 협력 또는 인간과 로봇 간 협력을 통한 협동 로봇 시스템이 농업 분야의 새로운 연구 방향으로 자리잡고 있다. 협동 로봇 기술은 단일 로봇의 한계를 극복하고, 복잡한 작업 환경에서의 정확성과 효율성을 극대화할 수 있는 장점을 가지고 있다. 협동 로봇은 인간과의 협업을 통해 복잡한 작업을 수행하며, 로봇 간의 상호작용을 통해 작업의 정밀도와 생산성을 높이는 데 기여하고 있다(Yerebakan and Hu, 2024).
본 논문에서는 농업 분야에서 활발히 연구되고 있는 협동 로봇 기술을 인간-로봇 협동, 로봇-로봇 협동, 로봇팔 간의 협동 총 세 가지 영역으로 나누어 살펴보고자 한다. 또한 농업용 로봇을 연구하는 연구자들이 로봇 시스템 개발을 위해 이미 연구된 기술을 논의하는데 도움을 주기 위한 목적으로 작성되었다. 예를 들어, 최근 연구에서는 다중 협동 로봇 시스템을 통해 작물 상태 모니터링, 정밀 방제, 수확 등의 작업을 효율적으로 수행하는 방안이 제시되고 있다(Ju et al., 2022). 또한, 로봇 간의 통신 및 충돌 회피 알고리즘 개발을 통해 협동의 안정성과 효율성을 높이는 연구도 활발히 진행되고 있다(Unal et al., 2023). 다중 로봇팔의 협동은 일반적으로 여러 개의 로봇팔, 그리퍼, 비전 유닛 등을 통해 동시에 여러 개의 동작을 수행함으로써 효율성을 크게 향상시킬 수 있다. 최근 연구에서는 다중 로봇팔을 활용한 과일 수확 로봇이 개발되어, 협업을 통해 수확 속도와 정확도를 높이는 성과를 보이고 있다(Li et al., 2023).
이러한 협동 로봇 시스템의 연구는 농업 분야에서 기존의 식량 부족 문제, 고령화에 따른 노동력 부족 문제 등을 해결하는 방향으로 나아가고 있다. 이에 본 논문은 협동 로봇 시스템에 적용된 기술 및 연구 방향을 분석하고, 향후 연구가 나아갈 방향을 제안하고자 한다.
인간과 로봇의 협동(Human-robot collaboration)
현재 대부분의 농작업은 인간이 수작업으로 또는 사람이 직접 조작하는 기계나 장비를 이용하여 수행되고 있다. 최근에는 작업을 자동화하고 완전 자율형 로봇을 개발하려는 시도가 활발히 이루어 지고 있지만, 여전히 일부 작업은 단일 로봇만으로는 한계가 있고 효율적으로 수행하기 어렵다. 이러한 이유로 인간과 로봇 간의 협동 HRC(Human-Robot Collaboration)의 중요성이 부각되고 있다. 농업에서의 HRC가 인간의 인지적 의사결정 능력과 로봇의 기계적 지속성 및 정확성을 결합함으로써 작업 효율성과 안전성을 동시에 확보할 수 있는 유망한 접근임을 Fig. 1과 같이 제시하였다(Adamides and Edan, 2023; Yerebakan and Hu, 2024; Vasconez et al., 2019).
인간과 로봇이 협력하여 작업을 진행할 경우, 제어는 원격 제어, 감독 제어, 협력 제어 등의 다양한 방식으로 실현될 수 있다. 특히 협력 제어를 실현하기 위해서는 인간과 로봇 간의 상호작용이 필요하며, 이를 인간이 일정 수준의 제어 권한을 갖게 된다. Berenstein와 Edan(2017)은 반자율 방제 로봇 시스템에서 RGB 카메라 기반의 영상 인식 알고리즘과 인간의 인지 능력을 결합하여, 로봇이 자동으로 감지한 대상을 인간이 보정 및 확인하는 구조로 설계하였다(Fig. 2). 사용자는 로봇이 인식한 대상에 대해 추가로 위치를 지정하거나 잘못 감지된 부분을 수정할 수 있도록, ‘마킹 인터페이스’를 통해 상호작용하는 기술을 개발했다.
또한, 상황에 따라 다양한 협력 수준이 요구된다는 관점에서의 연구도 있다. Murakami et al.(2008)는 농업용 무인 차량을 대상으로 원격 조작 시스템을 개발하였으며, 이를 통해 인간과 로봇 간의 협동 제어를 직접 제어와 감독 제어 두 가지 방식으로 구현하였다. 특히, 이 시스템은 자율 주행 기능과 수동 조작 기능을 결합한 반자율 주행 구조로 설계되어, 작업자가 차량의 상태를 실시간으로 모니터링하고 필요 시 수동으로 개입할 수 있도록 하였다.
농작업 중 인간의 동작을 인식하여 로봇이 대응하도록 하는 연구도 진행되었다. Anagnostis et al.(2021)은 인간이 상자를 들고 옮기는 일반적인 농작업 중의 행동을 인식하기 위해, 웨어러블 센서를 착용한 참가자들의 데이터를 수집하였다. 수집된 데이터를 기반으로 기계 학습 분류 알고리즘을 적용하여 인간의 동작을 실시간으로 인식하였으며, 평균 85.6%의 인식 정확도가 보고되었다. Vasconez et al.(2019)은 복잡한 농업 환경에서 인간과 로봇이 협업이 가능하도록 social robot navigation 제안하였다(Fig. 3). 로봇이 사람과 물리적 공간을 공유하며 직관적이고 비언어적인 소통을 통해 자율적으로 작업을 수행할 수 있도록 하는 HRI 기반 제어 기술을 개발했다. 기술적으로는 Faster R-CNN + Inception v2 기반 객체 탐지 모델을 사용하여 손동작, 플래그, 사람 행동을 실시간으로 인식하도록 설계하였다.
또 다른 연구에서는 인간과 협동하는 수확 보조 로봇 시스템이 제안되었다. Peng et al.(2022)은 딸기 수확 작업에서 수확자가 수확한 작물을 운반하는 비생산적인 동작을 줄이기 위해 트레이 운반을 전담하는 협업 로봇을 도입하였다(Fig. 4). GNSS 기반 위치 추적과 무게 센서가 장착된 운반차를 통해 수확자의 작업 상태를 실시간으로 파악하고, 예측 스케줄링 알고리즘을 활용하여 수확자가 트레이를 채우기 전에 로봇이 도착하도록 설계되었다. 유사한 연구로 Lai et al.(2020)은 차 수확 작업에서 사람이 차잎을 수확하고 로봇은 이를 지원하는 시스템을 제안하였다. 해당 로봇은 사람의 등에 부착된 마커를 카메라로 인식하고, LIDAR 기반 시스템을 통해 현재 로봇이 위치한 작물의 줄을 파악하여 인간을 추종했다. Fig. 5는 로봇의 세 가지 주요 동작 상태를 보여준다: (a) 추종 상태에서는 로봇이 인간을 따라가고, (b) 협력 상태에서는 사람과 나란히 작업하며, (c) 대기 상태에서는 로봇이 사람의 위치나 동작에 따라 잠시 멈추는 방식이다.
Fig. 5.
The behavior of the proposed tea leaf harvester robot proposed: (a) follower state; (b) cooperative state; (c) waiting state. (modified from Lai et al., 2020).
Table 1은 농업에 적용된 HRC기술을 정리한 것이다. 인간과 로봇의 협동은 시각 인식 기반 시스템의 한계를 보완하기 위해 인간의 감지 및 인지 능력을 활용하는 보조적인 형태로 연구되고 있다. 이러한 방식은 복잡한 재배 환경에서 단일 로봇이 물체를 정확하게 인식하거나 대상을 식별하는데 겪는 한계를 효과적으로 극복할 수 있도록 돕는다. 그러나 이러한 협동의 효과성을 극대화하기 위해서는 로봇의 자율성 수준과 인간과의 역할 분배 간의 균형이 정교하게 조율되어야 한다.
Table 1.
Summary of the reviewed human-robot cooperation studies in agriculture.
로봇과 로봇의 협동
다중 협동 로봇 (Multi-robot collaboration)
농업 환경에서 다중 로봇 시스템을 효과적으로 활용하기 위해 고려해야 할 핵심적인 요소는 작업의 효율성을 극대화하는 동시에 작업에 소요되는 비용을 최소화하는 것이다. 이러한 목적은 로봇 간의 작업 충돌을 방지하고, 자율적 협력을 통해 효율적인 작업 수행을 가능하게 한다. 또한, 고도화된 경로계획 및 작업 스케줄링을 통해 경로의 최적화를 달성할 수 있다. 해당 연구는 농업 현장에서 작업 공간을 효율적으로 분산하고 충돌을 피하며 자율적으로 포지션을 조정하는 다양한 알고리즘 기반으로 구현되고 있다. 리더-팔로워 구조, 중앙 제어, 군집 제어 등 다양한 협업 모델이 실제 적용되고 있다(Lytridis et al., 2021). 특히, 경로 최적화 문제를 그래프 기반의 정수계획법으로 모델링한 연구에서는 다수의 로봇이 동시에 목적지를 향해 이동하는 경로를 효율적으로 탐색할 수 있는 알고리즘들이 제안되었다(Yu and LaValle, 2016). 최근에는 다수의 잡초 제거 로봇 간 작업 분배 및 스케줄링을 진화 알고리즘 기반으로 최적화함으로써 전체 작업 소요 시간을 최소화하는 방향으로 발전하고 있다(Guo et al., 2024).
다중 협동 로봇 시스템에 관한 상당수의 연구는 주로 시뮬레이션을 통해 이루어졌으며, 이는 적절한 경로 계획 알고리즘을 개발하는 데 초점을 맞추고 있다. 예를들어 Li et al.(2016)의 연구에서는 Fig. 6과 같이 hierarchical task assignment과 경로계획 알고리즘을 동시에 사용했다. 해당 구조는 협업에서의 작업 배치와 로봇 각각의 경로 최적화를 포함한 두 단계의 최적화 방식을 채택하였고, 리더-팔로워 구조를 기반으로 하였다. 특정 이벤트가 발생하면 리더는 장애물이 없는 최적의 경로를 계산하고 이를 팔로워에게 전송하며, 팔로워는 이 정보를 바탕으로 최적의 경로를 결정한다. 이와 비슷한 연구로 Lu et al.(2024)은 곡물 수확 작업의 효율성을 향상시키기 위해 트랙터와 콤바인 수확기의 협동 제어시스템을 제안하였다(Fig. 7). 특히, 좁은 농작업 공간에서의 안정적이고 정밀한 곡물 수확을 위해, 수확기와 트레일러 간 상대 위치 오차, 모델 불확실성, 동적 장애물 회피 등의 복합 문제를 해결하려고 했다. 이를 위해, RBF(Radial Basis Function) 신경망을 사용하여 외부 간섭에 따른 비정형 모델 오차를 실시간 추정하는 역할을 수행했다. 또한, 불규칙한 경계와 다양한 정적·동적 장애물이 존재하는 실제 농업 환경을 반영하여, 기존의 APF(Artificial Potential Field)을 개선한 Improved APF을 제시하였다.
Yang et al.(2024)는 Fig. 8과 같이 농업의 넓은 영역에서 농업의 넓은 영역에서 자율주행 농업 로봇들이 여러 작업을 충돌 없이 수행하기 위한 경로계획과 작업 스케줄링 문제를 통합적으로 해결하기 위해 hierarchical decoupling 구조를 제안하였다. 이들은 경로 탐색과 작업 순서 최적화를 통합한 MTP (Multi-Task Planning) 문제를 해결하였다. 기존의 8방향 탐색 기반 A 알고리즘의 한계를 극복하기 위해 16방향(16S-A)으로 확장 기반 알고리즘을 개발했다. 이 알고리즘은 회전수, 회전각도, 경로 길이를 모두 고려한 비용 행렬을 생성하며, 효율적이고 안전한 경로를 빠르게 탐색할 수 있도록 설계했다(Table 2).
Fig. 7.
Obstacle avoidance strategy for tractor-trailer tracking combine harvester under leader-follower control (modified from Lu et al., 2024).
Fig. 8.
To overcome the limitations of 8-directional A*, the 16-directional 16S-A algorithm was developed, enabling finer path resolution and more efficient obstacle avoidance (modified from Yang et al., 2024).
Table 2.
Summary of the reviewed multi-robot cooperation studies in agriculture.
다른 연구에서는 Lal과 Prabhakar(2021)이 농업 환경에서 무인 드론(UAV)을 활용하여 농약 살포를 수행하는 데 있어 시간 최적화 경로계획 문제를 다루었다. 이들은 제한된 농약 용량과 보급 지점의 제약을 고려하여 전체 작업 시간을 최소화하는 중앙 집중형 경로 생성 알고리즘을 제시하였으며, 군집 기반 클러스터링 기법과 MTSP(Multiple Traveling Salesman Problem)에 기반한 MLIP(Machine Learning Interatomic Potential) 접근법을 병행하여 적용하였다.
다중 로봇팔의 협동 시스템(Multi-arm robot collaboration)
협동 로봇의 개념은 독립된 로봇 간의 협업을 넘어서, 동일한 로봇에 장착된 다수의 manipulator간의 협동으로 확장될 수 있다. 다관절 로봇 팔을 동시에 사용함으로써 작업 효율성을 향상시키고 작업 소요 시간을 단축할 수 있다. 이러한 다관절 로봇은 다중 로봇팔 협동 방식으로 한 팔은 과일을 잡고 다른 팔은 절단하여 수확하거나 가려짐 문제를 해결하는 경우에도 기여할 수 있다.
다중팔 로봇 협동 시스템에 대하여 연구하는 부분에서 작업 효율을 높이기 위한 연구로 로봇팔의 경로 계획 작성이 있다. 예를 들어, Yoshida et al.(2022)은 복잡한 과수 환경에서 배 및 사과와 같은 과일을 자동 수확하기 위한 이중 로봇 팔 수확 로봇을 개발했다. 경로 계획은 Fig. 9와 같이 로봇팔 간의 충돌 방지 및 과일 손상 최소화를 위해 T-RRT(Transition-based Rapidly-exploring Random Tree) 알고리즘을 사용하여 좁은 공간에서도 빠르고 안정적인 동작을 구현했다. 이와 비슷한 연구로, Sarabu et al.(2019)은 과수 환경에서 양팔 로봇 협동 수확 시스템을 제안했다. 두 개의 UR5 로봇 팔에 각각 eye-in-hand 방식의 RGB-D 카메라를 장착하고, Grasp Arm은 수확을 전담하고 다른 Search Arm은 가려진 과일을 탐색하고 경로를 확보하는 역살을 수행했다(Fig. 10). 여기서 Search Arm은 미탐지된 과일을 대상으로 HPIRC(Heuristic Positioning and In-Image RRT-Connect) 알고리즘을 활용하여 Grasp Arm이 접근 가능한 경로를 탐색하고 연결하도록 제공했다. Sepúlveda et al.(2020)은 가지(aubergine) 수확을 위한 이중 로봇 팔 수확 로봇을 개발하고, 다양한 인식 및 경로 계획 알고리즘을 통합한 자동 수확 시스템을 제안하였다. 해당 로봇은 SVM(Support Vector Machine) 기반의 이미지 분할 및 watershed transform을 통해 과일을 정밀하게 인식하고 3차원 인식 위치를 추정한다. STOMP(Stochastic Trajectory Optimization for Motion Planning) 알고리즘을 활용하여 로봇 팔 간의 출동 없는 경로를 생성하며, MoveIt! 기반의 제어 프레임워크로 두 팔을 동시에 제어했다. 이러한 다양한 농작물을 파지하는 방법으로는 진공을 이활용하는 방법, 다중 그리퍼를 활용하는 방법 등이 활용되고 있으며 수확물을 손상시키지 않기 위한 다양방법들이 적용되고 있다.
Fig. 10.
The graph structure: (a) system overview ;(b) schematic shown in 2D (modified from Sarabu et al., 2019).
Table 3은 로봇팔이 서로간의 충돌을 방지하기 위한 작업공간에 대한 연구를 정리한 것이다. Jiang et al.(2022)은 horizontal trellis 환경에서 포도 수확을 위한 이중 로봇 팔 수확로봇을 개발했다. 해당 로봇은 수확 대상의 깊이 정보에 기반한 Symmetric Space Segmentation을 통해 작업 할당과 충돌 방지를 구현했다. 양팔 간의 간섭을 최소화하면서도 연속적인 수확을 실현하기 위해 작업 영역을 위험 영역과 안전 영역으로 이분화시켰다(Fig. 11). 또한, 두 팔 중 하나는 Master가 되고 Slave로 동작하여 Master Arm이 우선적으로 작업을 수행하며, Slave Arm이 지속적으로 모니터링 하여 경로를 조정함으로써 좁은 환경에서도 안정적이고 효율적인 수확이 가능하도록 하였다. Stavridis et al.(2024)은 복잡한 환경 속에서의 포도 수확 문제를 해결하기 위해 인간의 수확 방식을 모사한 양팔 로봇 기반 수확 시스템을 제한했다. 그리퍼를 사용하여 포도의 줄기를 당겨 절단기가 들어가는 공간을 확보하는 기술을 실현하고자 했다. 이를 위해 카메라팔은 ROI 중심화 및 시야 확보, 그리퍼팔은 줄기 방향으로 힘을 가하면서 장애물 회피가 가능한 position-force hybrid control을 수행했다(Fig. 12).
Table 3.
Summary of the reviewed cooperative manipulators studies in agriculture
Fig. 12.
Bimanual robot motion coordination: (a) Camera arm control methodology; (b) Grasping arm force/position and orientation control (modified from Stavridis et al., 2024).
Conclusion
본 연구는 지난 몇 년간의 농업 분야 협동 로봇 연구를 정리하였으며, 크게 (a)인간-로봇, (b) 로봇-로봇 간 협업, (c) 다중 로봇팔 협업 시스템을 중심으로 다양한 연구 성과를 검토하였다. 국내외 연구자들의 지속적인 노력으로 농업 협동 로봇 분야에서는 일정 수준의 성과가 축적되어 왔지만, 실질적인 응용 측면에서는 여전히 여러가지 기술적 과제를 안고 있다. 이러한 과제들은 주로 비정형 농업 환경에서 효율적이고 정밀한 작물 인식 및 위치 추정, 그리고 복잡한 환경내에서의 작업 계획과 관련되어 있다. 이러한 문제점들은 현재 농업에서 사용하는 협동 로봇 시스템이 효율성과 정확성 측면에서 여전히 개선의 여지가 많다는 것을 의미한다. 인간-로봇 협동 시스템 측면에서는, 현장 작업자들이 고도의 기술 지식이 없이도 쉽게 작업이 가능할 수 있는 효과적인 인터페이스 설계가 필요해 보이며, 로봇의 협동 제어 기술 역시 중요한 연구 분야로 남아 있다. 로봇-로봇 간의 협동 기술 역시 로봇의 전력 제약으로 인해 주로 단기간의 매핑 작업에 제한되고 있는 상황이다. 마지막으로, 농산물의 수확 및 운송에 있어서 다중 로봇팔 협동 기술은 매우 유망한 분야이다. 이에 따라, 향후 연구는 다음과 같은 측면에 주력할 필요가 있다. 첫째, 비정형 환경은 불규칙한 지형, 장애물, 복잡한 정보 수집 등으로 자율 주행, 작물 인식 및 위치 추정에 부정적인 영향을 미친다. 협동 로봇이 이러한 환경에서 안정적으로 작업하는 것은 여전히 해결해야 할 주요 연구 과제이다. 둘째, 현재는 작업 공간 분할과 작업 순서 계획을 통해 로봇 간 충돌을 회피하지만, 이는 협동 로봇의 장점을 제한하는 결과를 보여준다. 과일의 군집 분포로 인해 작업 부하 불균형 문제가 발생하며, 이는 수확 효율을 떨어뜨린다. 따라서 지능형 협동 계획과 동적 작업 스케줄링 시스템을 통해 로봇 팔 간 충돌을 줄이고 균등한 작업 분배를 실현하는 것이 중요하다. 이러한 기술이 지속적으로 발전함에 따라, 다중 협동 로봇은 농업을 보다 효율적이고, 노동력에 의존하지 않는 산업으로 전환시키는 데 핵심적인 역할을 하게 될 것이다. 셋째, 농가에서는 작업의 안전성 및 신뢰성, 사용 편리성 등이 민감한 문제이며, 이를 해결하기 위해서는 면밀한 작업 설계와 스케줄링을 통해 사고 위험을 낮추고 편리성을 향상시킴으로써 현장의 수용성을 높일 수 있을 것이다. 넷째, 로봇의 협업은 가동률을 상승시킬 수 있고, 작업부하를 평준화 시킴으로써 비용절감과 농번기 인력수급 리스크 완화에 기여할 수 있을 것으로 판단된다.
