Vision 4all - Sistema Visão Assistida Para Deficientes Visuais Usando OpenCV, Dragonboard 410c E Aplicativo Android: 6 Langkah

2024 Pengarang: John Day | [email protected]. Diubah suai terakhir: 2024-01-30 11:07

DESCRIÇÃO

O intuito do projeto é dar autonomia para deficies visuais se locomoverem em ambientes como casas indoor ou shopping centre e aeroportos.

Suatu locomoção em ambientes já mapeados pode ou não ser thinkado um problema bem resolvido. Umpan balik aplikasi App Store untuk penerbit, ainda que sirva apenas para 3 ambientes e apenas nos EUA, é o Panduan LowViz. Além do limado número de locais, tal aplicativo não Detecta possíveis obstáculos e pessoas que possam estar no caminho do usuário. Assim, misão deste projeto é, através de visão computacional e processamento de imagem, identificar possíveis obstáculos que possam surgir ao longo do caminho do usuário e poder recalcular o caminho a ser seguido dando independência e empoderando o usu. Sebagai contoh, o projeto, embora ainda incompleto, terdiri daripada integrasi um aplicativo de onde se pode submeter ou desenhar uma planta baixa do local de interesse, seja uma casa ou shopping. Com a placa integrada a uma câmera na cintura do usuário, e um fone de ouvido, o aplicativo calcula a posição no ambiente e permite o usuário definir para onde quer ir e dá comandos de voz para movimentação. A cera, quando detecta um obstáculo a frente, membuat rekalkular o caminho do usuário. Como dizia Hugh Herr: “Nenhum indivíduo é incapaz, o que wujud fal falta de desenvolvimento tecnológico para capacitar e nos tornar iguais”.

Neste projeto menggunakan Dragonboard 410c, porque precisamos de um hardware que tenha capacidade de fazer o processamento de imagens em tempo real (sem ter de competir com outras aplicações como seria no celular) e ao mesmo tempo seja de baixo custo.

Langkah 1: Materiais

Para este projeto vamos utilizar:

- uma placa Qualcomm Dragonboard 410c;

- biblioteca de processamento de imagem OpenCV (versi 3.1);

- câmera que se comunique com a placa (usaremos na verdade um celular android com o aplicativo IP Webcan);

- selular com sistema Android para o aplicativo;

Langkah 2: Instalando OpenCV Na Dragonboard

Com linux instalado na placa, siga os Procedimentos padrões para se instalar a biblioteca de processamento de imagem - OpenCV - tanpa peranti. Siga sebagai petunjuk deste link:

docs.opencv.org/3.0-beta/doc/tutorials/intr…

Langkah 3: Sambungkan Câmera Com a Dragonboard

Precisamos conectar a câmera que serão os olhos do deficiente com a placa de desenvolvimento Dragonboard 410c. Existem vários jeitos de fazer isso. Papan naga yang ada pada semua kabel, ou seja, adalah com com sebagai casmer usadas comumente em plasas como a Raspberry pi.

Neste projeto, optamos usar como câmera um Moto G 3ª Geração com o aplicativo IP Webcam (disponível na Google Play) que permite que a imagem seja transferida pelo wifi.

Abaixo um programa que faz aquisição simples da imagem usando a biblioteca opencv. O link passado como parâmetro no construtor do objeto VideoCapture é o IP do selular (indicado no aplicativo) + “/ videofeed”. Na imagem acima, você encontra onde está o IP do seu selular.

A pod aquisição ser difícil nas verses anteriores a 3.1 da opencv, caso você não tenha conseguido serupa. Se você conectar uma câmera pela entrada de câmeras da dragonboard basta colocar como parâmetro o valor zero ("0"), que indica que você quer procurar a câmera default.

Langkah 4: Perisian Desenvolver De Processamento De Imagens Que Toma Keputusan

Há três programas em anexo, o identificadorDeObstáculos.cpp, o MostraContornoWebcam.cpp e o VídeoCadeiraSlavo.cpp (estes dois últimos para teste e entendimento da técnica melakukan perisian).

Explicação: A ideia de identificação de obstáculo vem da determinação dos contornos mais drásticos nas imagens do vídeo, ou seja, o código identifica mudanças drásticas de cores na imagem e conclui que isso seja um contorno e portanto s obanto langkah). Estando a câmera na barriga do usuário, levemente inclinada para o chão, confe o o usuário se lokomove, o programa identifica a وجودência de um objeto (seja uma pessoa ou uma cadeira por exemplo) e manda o sinal de parada caso o objeto seja encont região especificada (caminho do usuário) (vide imagem do contorno da cadeira - caso o usuário se aproxime da cadeira haverá pixels brancos na região verde que determinam condição de parada). Dessa forma, sem a adição de filtros ao tipo de chão, para o funcionamento dessa versão simplificada, é ضروريário um chão razoavelmente homogêneo, de forma que os detalhes do chão não sejam pertimbangan contornos.

Pemerhatian. terdapat kemungkinan rendah Tahap Hadapan Nilai untuk 0 (mais sensitivo) e 100 (menos sensitivo ao contorno). O valor sugerido adalah 60 para chão em geral.

Funcionamento: o identificadorDeObstáculos.cpp recebe um vídeo da rede wifi através do sparkfun que deve ser um vídeo de um celular acoplado a barriga do usuário. O código manda condições de parada á um aplicativo de um outro celular que usuário está usando. Idealmente manda-se comandos de voz de parada parada o usuário.

Pemerhatian: Altere o código de acordo para especificar de onde os vídeos são recebidos e para qual android sebagai informações são encaminhadas. Os tipos de alterações são especificadas no próprio código (assim como nos programas de teste) comentados no início do programa.

Para saber mais sobre bordas de Canny e limiarização, além de outros tópicos de visão computacional, recomenda-se procurar a documentação oficial da OpenCV.

Langkah 5: Fazer Aplicativo Que Repassa Sebagai Maklumat Para O Deficiente Visual

Para reproduzir este projeto é ضروريário criar um banco de dados tidak ada data laman web.sparkfun.com, o processo é muito intuitivo de forma que não será dada uma explicação mais detalhada aqui, mas colocaremos o link do banco que criamos para referência ().

Assim que a Dragonboard reconhece que há um obstáculo a sua frente ela posta em um banco de dados construido no data.sparkfun.com essa informação. O aplicativo faz uma consulta a este banco com o auxílio da classe okhttp3 obtendo as informações como um Json. Então fazemos um parser desse json para encontrarmos o último dado enviado. Com esse dado em mãos conseguimos dizer se há um obstáculo no caminho, assim é emitido um sinal de voz para o usuário parar. Se o caminho está livre o aplicativo emite um sinal para prosseguir συνέχεια.

Seguem em anexo sebagai kelas e Antaramuka penggunaan untuk o projeto, que são explicadas a seguir:

GetJson: é utilizada para fazer um get no banco de dados do data.sparkfun retornando um arquivo em formato json para aplicação.

JsonDownloader: é onde geramos uma asynctask para de fato utilizarmos a classe GetJson, importância do uso desta classe é para não travarmos antarmuka yang boleh digunakan untuk menerbitkan precisamos criar uma thread diferente na aplicação.

UtamaAktiviti: nesta classe Implementamos a lógica da aplicação que Continamente Consulta o banco de dados, e informa o usuário por meio de um audio se ele precisa para ou pode Continuar caminhando.

RequestListener: é uma interface utilizada para forçar o MainActivity ter certas características.

SdmSoundPlayer: esta classe é usada para gerenciar os comandos de voz da aplicação, caso você queira inserir as suas próprias gravações você deve criar uma pasta raw dentro da pasta res e incluir os arquivos de audio lá. Feito isso dentro do método initSoundHash () você deve colocar esses arquivos dentro de mSoundHash que é uma tabela Hash. Para usar este áudio basta usar o método playSound (int key) e passar como parâmetro a chave escolhida para o sinal de voz.

Amaran: essa classe é utilizada para facilityitar o parser do json retornado pelo banco de dados.

Seguem em anexo também os arquivos de voz utilizados.

O layout dan aplicação constia de um único botão que funcionava com o método Quit Implementado na MainActivity, este método simplesmente forçava a aplicação a parar a consulta no banco de dados.

Qualquer dúvida adicional ou sugestão basta entrar em contato com o autor. Sugestões são semper bem-vindas =).

O código não está bem comentado, mas acredito que as explicações acima devem ser suficientes para o entendimento do que está acontecendo.

Langkah 6: Sugestões De Continuação

Poderiamos integrar um sistema de localaização. Existe o Qualcomm iZat SDK que possui um sistema de localização que usa GNSS, acelerômetro, magnetrômetro entre outros, já embutidos no próprio processador Qualcomm Snapdragon (hadir na maioria dos celulares). Tiada entanto, havia pouca documentação e requitava de testes mais demorados.

Também gostariamos de usar um sensor de distância ultrassonico, porém tivemos problemas quanto a comunicação com a Dragonboard, que poderia ser resolvido com mais calma. Lihat tempo, dapatkan sebagai bibliotecas dan tidak ada kit de desenvolvimento, elas possuem diversos exemplos para cada tipo de sensor.

Tiada Pembangun laman web Qualcomm existem fóruns e tutoriais que podem ajudar, a ainda há os tutoriais da 96Boards no you tube.