Để giám sát môi trường và điều hướng trong thế giới thực, robot phải có thể thu được hình ảnh và các phép đo môi trường trong các điều kiện ánh sáng nền khác nhau. Trong những năm gần đây, các nhà nghiên cứu và kỹ sư trên khắp thế giới đã và đang nghiên cứu để phát triển ngày càng nhiều cảm biến tiên tiến hơn để tích hợp vào robot, hệ thống giám sát hoặc các thiết bị khác có thể cảm nhận được môi trường xung quanh.
Theo Memes Consulting, các nhà nghiên cứu từ Đại học Bách khoa Hồng Kông, Đại học Bắc Kinh, Đại học Yonsei và Đại học Phúc Đán gần đây đã phát triển một loại cảm biến thị giác sinh học mới sử dụng cơ chế mô phỏng nhân tạo chức năng võng mạc và có thể được sử dụng trong nhiều loại dữ liệu được thu thập. trong điều kiện ánh sáng. Cảm biến thị giác sinh học này dựa trên các bóng bán dẫn quang làm bằng molypden disulfide.
Ảnh chụp mảng cảm biến tầm nhìn phỏng sinh học (trái); sơ đồ cấu trúc của đơn vị cảm biến thị lực và hình ảnh kính hiển vi quang học (bên phải)
"Our research team started work on optoelectronic memory five years ago," said Yang Chai, one of the researchers who developed the vision sensor. "This emerging device can output light-dependent and history-dependent signals, enabling image integration. , Weak signal accumulation, spectral analysis and other complex image processing functions, the multi-functional integration of sensing, data storage and data processing into one device."
Năm 2018, Yang Chai và các đồng nghiệp của ông đã xuất bản bài báo đầu tiên về bộ nhớ quang điện tử, trong đó họ giới thiệu một thiết bị bộ nhớ chuyển mạch điện trở có thể thực hiện các hoạt động logic và cảm biến ánh sáng. Một năm sau, nhóm nghiên cứu đã giới thiệu một loại bộ nhớ truy cập ngẫu nhiên quang điện tử mới với ba chức năng khác nhau. Cụ thể, thiết bị mới có thể cảm nhận môi trường, lưu trữ thông tin trong bộ nhớ và thực hiện các hoạt động tiền xử lý hình ảnh thần kinh.
"We studied the concepts of near-sensor and in-sensor computing paradigms in 2020 and published our views in the field." Yang Chai continued, "This new research on biomimetic vision sensors builds on our On top of all previous efforts."
The intensity of ambient natural light varies widely, with a total range of 280 dB. When the human retina senses external light signals, it adjusts the light sensitivity of its photoreceptors (i.e., rods and cones) according to the strength of the signal. This ultimately enables the human eye to gradually adapt to varying levels of lighting, allowing it to see clearly in both dark and bright environments, an ability known as "visual adaptation."
"For example, when you enter a dark cinema from a bright hall, you can hardly see anything at first, but after a while in the cinema, it becomes easier to see things," explains Yang Chai. "This phenomenon is called scotopic adaptation. Conversely, if you go from a dark movie theater to a sunny outdoors, you'll feel very dazzled at first, and it takes a while to get used to seeing what's going on around you. The process The opposite of dark adaptation is called photopic adaptation."
The main goal of Yang Chai and his colleagues' recent work is to build a vision sensor inspired by the structure and function of the human retina. To do this, they first started by studying the human retina and then tried to design perceptual strategies that would allow them to artificially simulate visual adaptations.
Trạng thái - của - - cảm biến hình ảnh nghệ thuật dựa trên công nghệ CMOS thường có dải động giới hạn là 70 dB. Tuy nhiên, dải động này hẹp hơn nhiều so với dải ánh sáng của cảnh tự nhiên (280 dB).
"To achieve visual perception over a wide range of light intensities, researchers have explored the use of controlled optical apertures, liquid lenses, adjustable exposure times, and denoising algorithms in post-processing," said Yang Chai. "However, these Methods often require complex hardware and software resources."
Dark and light adaptation of biomimetic vision sensor arrays. (a) Schematic of the dark adaptation test: recognition of low-light images using an 8 x 8 pixel array in a dark environment. (b) Schematic diagram of light adaptation test: recognition of high-illuminance images using an 8 x 8 pixel array in a bright environment. (c) Dark adaptation process to identify the "8" pattern. (d) The photoadaptation process to identify the "8" pattern.
Các thiết bị quang điện tử có - tầm nhìn thích ứng với ánh sáng và phạm vi cảm nhận rộng ở các thiết bị đầu cuối cảm giác có thể có những ứng dụng rất có giá trị. Ví dụ: chúng có thể giúp cải thiện hiệu suất của các công cụ thị giác máy tính, giảm độ phức tạp của phần cứng cần thiết để chế tạo rô bốt hoặc các hệ thống cảm biến khác và cải thiện độ chính xác của hệ thống nhận dạng hình ảnh.
Mặc dù trước đây, các nhóm nghiên cứu khác đã phát triển các thiết bị quang điện tử có thể thích ứng với các điều kiện ánh sáng khác nhau. Tuy nhiên, hầu hết các thiết bị đã được chứng minh trước đây chỉ có thể bắt chước cơ chế thích ứng ánh sáng của võng mạc. Quá trình thích ứng bóng tối cho đến nay càng khó mô phỏng hơn.
"There is still a long way to go to fully replicate the visual adaptation function of the retina," explains Yang Chai. "To achieve this, we designed a phototransistor-based vision sensor using ultra-thin semiconductors that can The degree of dark adaptation and light adaptation in the same device was controlled by applying different gate voltages. In this way, we simulated photoreceptors and horizontal cells in the retina and successfully achieved a sensing range of 199 dB. Vision-adaptive devices in biomimetic sensors."
Mô phỏng nhân tạo các cơ quan thụ cảm ánh sáng và các tế bào nằm ngang trong võng mạc để thích ứng thị giác (thích ứng với bóng tối và thích ứng với ánh sáng)
Cảm biến tầm nhìn mô phỏng sinh học do Yang Chai và các đồng nghiệp phát triển dựa trên các bóng bán dẫn quang làm bằng vật liệu bán dẫn siêu mỏng được gọi là molypden disulfide. Các phototransistor mà họ sử dụng có nhiều trạng thái bẫy điện tích có thể bẫy hoặc giải phóng các điện tử trong kênh ở các điện áp cổng khác nhau.
Ultimately, these states allow researchers to dynamically tune the conductance of their devices. This, in turn, allowed them to artificially simulate the dark- and light-adaptive mechanisms of the human retina, thereby expanding the range of their sensor's perception of different lighting conditions.
"Our bionic vision sensor has several advantages and features," said Yang Chai. "First, the visual adaptation function is implemented in a single device, which greatly reduces the footprint. Second, multiple functions can be implemented on a single device. , including light sensing, memory, and processing. Finally, dark and light adaptation under different light intensities can be achieved by controlling its gate voltage."
Yang Chai và các đồng nghiệp của ông đã đánh giá cảm biến thị giác sinh học trong một loạt các thử nghiệm và phát hiện ra rằng nó có thể bắt chước chức năng của võng mạc con người một cách hiệu quả, đạt được kết quả đáng kể trong việc thích ứng với cả bóng tối và ánh sáng. Hơn nữa, nó có phạm vi cảm nhận cao hơn đáng kể (199 dB) so với các giải pháp được đề xuất trước đó.
"Our vision sensor can enrich machine vision functions, reduce hardware complexity, and achieve high image recognition efficiency," said Yang Chai, "All these advantages are available in areas such as autonomous driving, face recognition, and industrial manufacturing in complex lighting environments. great application prospects."
Trong các nghiên cứu trong tương lai, các nhà nghiên cứu có kế hoạch cải thiện hơn nữa hiệu suất của cảm biến thị lực, đồng thời sử dụng nó để chế tạo các hệ thống quy mô lớn - bao gồm các mảng cảm biến. Lý tưởng nhất là họ muốn xây dựng mảng cảm biến này trên một chất nền dẻo hoặc hình bán cầu để cho phép trường nhìn rộng hơn.
"One area that needs improvement is the adaptation time of our vision sensor, as it is still not enough to support machine vision applications." Yang Chai added, "Our goal is to reduce the adaptation time to the microsecond level. In addition, the vision sensor array scale Further improvements are also needed. Our near-term target for array size is greater than 100 x 100 pixels. Finally, the heterogeneous integration of vision sensors and post-processing units, including silicon-based control circuits, is a very important step toward practical applications."
GMKJ Technology tham gia sâu vào các nguồn sáng lành mạnh và thông minh, cung cấp đầy đủ các sản phẩm và giải pháp LED VCSEL UVA UVB UVC, IR LED hồng ngoại IR LED VCSEL ra thị trường. Nó có hàng trăm - đối tác chất lượng cao trên thị trường trong và ngoài nước để cùng thúc đẩy việc sử dụng công nghệ ánh sáng nhằm tạo ra một cuộc sống lành mạnh và thông minh. .
