Para monitorar o ambiente e navegar no mundo real, o robô deve ser capaz de adquirir imagens e medições ambientais sob diferentes condições de iluminação de fundo. Nos últimos anos, pesquisadores e engenheiros de todo o mundo têm trabalhado para desenvolver sensores cada vez mais avançados para integrar em robôs, sistemas de vigilância ou outros dispositivos que possam detectar seus arredores.
De acordo com a Memes Consulting, pesquisadores da Hong Kong Polytechnic University, Peking University, Yonsei University e Fudan University desenvolveram recentemente um novo tipo de sensor de visão biônico que usa um mecanismo que simula artificialmente a função da retina e pode ser usado em uma variedade de dados coletados. em condições de luz. Este sensor de visão biônico é baseado em fototransistores feitos de dissulfeto de molibdênio.
Foto do conjunto de sensores de visão biomimética (esquerda); estrutura esquemática da unidade do sensor de visão e imagem do microscópio óptico (direita)
"Our research team started work on optoelectronic memory five years ago," said Yang Chai, one of the researchers who developed the vision sensor. "This emerging device can output light-dependent and history-dependent signals, enabling image integration. , Weak signal accumulation, spectral analysis and other complex image processing functions, the multi-functional integration of sensing, data storage and data processing into one device."
Em 2018, Yang Chai e seus colegas publicaram o primeiro artigo sobre memória optoeletrônica, no qual introduziram um dispositivo de memória de comutação resistiva que pode realizar operações lógicas e de detecção de luz. Um ano depois, a equipe apresentou um novo tipo de memória de acesso aleatório fotorresistiva com três funções diferentes. Especificamente, o novo dispositivo pode detectar o ambiente, armazenar as informações na memória e realizar operações de pré-processamento visual neuromórfico.
"We studied the concepts of near-sensor and in-sensor computing paradigms in 2020 and published our views in the field." Yang Chai continued, "This new research on biomimetic vision sensors builds on our On top of all previous efforts."
The intensity of ambient natural light varies widely, with a total range of 280 dB. When the human retina senses external light signals, it adjusts the light sensitivity of its photoreceptors (i.e., rods and cones) according to the strength of the signal. This ultimately enables the human eye to gradually adapt to varying levels of lighting, allowing it to see clearly in both dark and bright environments, an ability known as "visual adaptation."
"For example, when you enter a dark cinema from a bright hall, you can hardly see anything at first, but after a while in the cinema, it becomes easier to see things," explains Yang Chai. "This phenomenon is called scotopic adaptation. Conversely, if you go from a dark movie theater to a sunny outdoors, you'll feel very dazzled at first, and it takes a while to get used to seeing what's going on around you. The process The opposite of dark adaptation is called photopic adaptation."
The main goal of Yang Chai and his colleagues' recent work is to build a vision sensor inspired by the structure and function of the human retina. To do this, they first started by studying the human retina and then tried to design perceptual strategies that would allow them to artificially simulate visual adaptations.
Sensores de imagem-de-de última geração-de última geração baseados em tecnologia CMOS normalmente têm um intervalo dinâmico limitado de 70 dB. No entanto, essa faixa dinâmica é muito mais estreita do que a faixa de iluminação de cenas naturais (280 dB).
"To achieve visual perception over a wide range of light intensities, researchers have explored the use of controlled optical apertures, liquid lenses, adjustable exposure times, and denoising algorithms in post-processing," said Yang Chai. "However, these Methods often require complex hardware and software resources."
Dark and light adaptation of biomimetic vision sensor arrays. (a) Schematic of the dark adaptation test: recognition of low-light images using an 8 x 8 pixel array in a dark environment. (b) Schematic diagram of light adaptation test: recognition of high-illuminance images using an 8 x 8 pixel array in a bright environment. (c) Dark adaptation process to identify the "8" pattern. (d) The photoadaptation process to identify the "8" pattern.
Dispositivos optoeletrônicos com visão-adaptativa de luz e amplo alcance de detecção em terminais sensoriais podem ter aplicações muito valiosas. Por exemplo, eles podem ajudar a melhorar o desempenho de ferramentas de visão computacional, reduzir a complexidade de hardware necessária para construir robôs ou outros sistemas de detecção e melhorar a precisão dos sistemas de reconhecimento de imagem.
No entanto, outras equipes de pesquisa desenvolveram dispositivos optoeletrônicos que podem se adaptar a diferentes condições de iluminação no passado. No entanto, a maioria dos dispositivos demonstrados anteriormente só pode imitar o mecanismo de adaptação à luz da retina. O processo de adaptação ao escuro até agora provou ser mais difícil de simular.
"There is still a long way to go to fully replicate the visual adaptation function of the retina," explains Yang Chai. "To achieve this, we designed a phototransistor-based vision sensor using ultra-thin semiconductors that can The degree of dark adaptation and light adaptation in the same device was controlled by applying different gate voltages. In this way, we simulated photoreceptors and horizontal cells in the retina and successfully achieved a sensing range of 199 dB. Vision-adaptive devices in biomimetic sensors."
Simulação artificial de fotorreceptores e células horizontais na retina para adaptação visual (adaptação ao escuro e adaptação à luz)
O sensor de visão biomimético desenvolvido por Yang Chai e colegas é baseado em fototransistores feitos de um material semicondutor ultrafino conhecido como dissulfeto de molibdênio. Os fototransistores que eles usaram têm vários estados de armadilha de carga que podem prender ou liberar elétrons dentro do canal em diferentes tensões de porta.
Ultimately, these states allow researchers to dynamically tune the conductance of their devices. This, in turn, allowed them to artificially simulate the dark- and light-adaptive mechanisms of the human retina, thereby expanding the range of their sensor's perception of different lighting conditions.
"Our bionic vision sensor has several advantages and features," said Yang Chai. "First, the visual adaptation function is implemented in a single device, which greatly reduces the footprint. Second, multiple functions can be implemented on a single device. , including light sensing, memory, and processing. Finally, dark and light adaptation under different light intensities can be achieved by controlling its gate voltage."
Yang Chai e seus colegas avaliaram o sensor de visão biônico em uma série de testes e descobriram que ele poderia efetivamente imitar a função da retina humana, alcançando resultados notáveis na adaptação à escuridão e à luz. Além disso, possui uma faixa perceptiva significativamente maior (199 dB) em comparação com as soluções propostas anteriormente.
"Our vision sensor can enrich machine vision functions, reduce hardware complexity, and achieve high image recognition efficiency," said Yang Chai, "All these advantages are available in areas such as autonomous driving, face recognition, and industrial manufacturing in complex lighting environments. great application prospects."
Em estudos futuros, os pesquisadores planejam melhorar ainda mais o desempenho do sensor de visão, além de usá-lo para fabricar sistemas de grande-escala que consistem em matrizes de sensores. Idealmente, eles querem construir esse conjunto de sensores em um substrato flexível ou hemisférico para permitir um campo de visão mais amplo.
"One area that needs improvement is the adaptation time of our vision sensor, as it is still not enough to support machine vision applications." Yang Chai added, "Our goal is to reduce the adaptation time to the microsecond level. In addition, the vision sensor array scale Further improvements are also needed. Our near-term target for array size is greater than 100 x 100 pixels. Finally, the heterogeneous integration of vision sensors and post-processing units, including silicon-based control circuits, is a very important step toward practical applications."
A GMKJ Technology está profundamente engajada em fontes de luz saudáveis e inteligentes, fornecendo uma gama completa de produtos e soluções UVA UVB UVC LED, infravermelho IR LED VCSEL para o mercado. Possui centenas de parceiros de alta-qualidade nos mercados interno e externo para promover em conjunto o uso da tecnologia leve para criar uma vida saudável e inteligente. .
