본문 바로가기
이미지 매크로

화면 읽는 매크로

by 업무자동화 2023. 2. 27.
반응형

무료 매크로 프로그램 다운로드

http://ngmsoftware.com/bbs/board.php?bo_table=product1&wr_id=32 

 

엔지엠소프트웨어

엔지엠 매크로는 복잡한 반복작업을 자동화할 수 있습니다. PC 게임, 모바일 게임을 최적으로 지원하며 모든 PC 프로그램 및 업무에 적용할 수 있습니다.

www.ngmsoftware.com

#매크로 #매크로프로그램 #메크로 #g매크로 #마우스매크로 #키보드매크로 #엑셀매크로 #키매크로 #수강신청매크로 #로지텍마우스매크로 #매크로키보드 #파이썬매크로 #매크로뜻 #매크로마우스 #로지텍매크로 #ld플레이어매크로 #오토마우스매크로 #키보드마우스매크로 #오토핫키매크로 #이미지매크로 #이미지인식매크로 #하드웨어매크로 #화면인식매크로 #선착순구매매크로 #이미지서치매크로 #한글매크로

 

안녕하세요. 엔지엠소프트웨어입니다. 오늘은 윈도우 화면에서 문자(글자)를 인식하고, 이 글자를 읽어주는 TTS 매크로 만드는 방법에 대해 알아보도록 하겠습니다. 테스트를 위해 엔지엠 RPA 매크로 에디터를 실행하고, 새로운 스크립트를 하나 추가하세요. 화면의 내용을 읽는 방법은 여러가지가 존재하지만, OCR을 일반적으로 사용합니다.

 

 

윈도우 화면에서 한줄 텍스트를 읽을때는 [ OCR 체크 ] 액션을 사용합니다. 그런데, 여러줄의 한글과 영어 그리고 숫자가 섞여 있는 화면을 읽는 OCR 체크보다 OCR 스마트 체크 액션을 사용하는게 좋습니다. 아래 동영상을 참고해서 OCR 스마트 체크 액션을 추가하고, 속성을 설정 해보세요.

https://youtu.be/PmssjiQ5jd4

 

 

스크립트를 실행하면 바탕화면에 문자 또는 텍스트를 읽어서 결과 이미지가 저장됩니다. 아래 그림을 보면, 인식 영역이 주황색 박스로 표시됩니다. 그리고, 위에 인식한 텍스트가 회색으로 표시됩니다. 여러줄에 걸쳐 있어도 인식이 잘 된것을 확인할 수 있습니다. 물론, 흰색 바탕에 정자체로 쓰여진 텍스트라서 그런거긴 하지만요^^

 

 

이번에는 다른 글자를 읽는 매크로를 만들어볼까요? 여러분들도 아래 동영상과 같이 텍스트를 인식할 범위를 설정하고, 다시 실행 해보세요.

https://youtu.be/MosljIkbFnY

 

 

이번에도 잘 인식은 되었지만,  두번째 줄에 마지막 글자인 ""을 읽지 못한걸 알 수 있습니다.

 

 

인식 범위는 속성에서 확인할 수 있습니다. 좀 더 정확하게 문자를 테스트 하기 위해 OCR 체크로 한번 더 인식해보도록 하겠습니다. 영역은 알고 있으니 처리하는건 그렇게 어렵지 않을겁니다. 다만, 변수를 이용해서 사각형 영역을 다시 계산(좀 더 넓게)해서 인식 영역을 만들어줘야 합니다.

 

 

[ 변수 ]는 총 3개가 사용되었습니다. OCR 스마트 체크에서 찾은 모든 글자들 또는 텍스트의 위치를 배열(Array)로 변수에 저장합니다. 배열은 여러개의 값을 저장할 수 있습니다. 그래서, 텍스트 인식 영역(Rectangle)을 모두 변수에 저장 해줍니다. 그리고, 영역은 배열로 저장된 텍스트의 영역을 하나씩 처리하기 위해 따로 저장하는 변수입니다. 마지막으로 판독 문자 변수는 메모장에 인식한 글자를 쓰기위한 변수입니다. 다시 말해서 두번째 OCR 체크 액션이 인식한 텍스트를 저장할 변수입니다.

 

 

[ 클릭 ]을 하나 추가 했는데요. 이 클릭은 두번째 OCR 체크가 인식한 텍스트를 메모장에 입력하기 전 메모장을 클릭하기 위한 용도입니다. 텍스트를 쓴다는것은 텍스트를 쓸 수 있는 프로그램의 인풋(Input) 영역이 활성화되어 있어야 한다는 뜻입니다. 그래서, 메모장을 한번 클릭해서 활성 상태로 만들어줘야 합니다. 안그러면 현재 활성 상태인 프로그램에 텍스트 쓰기가 동작합니다.

 

 

딱히 반복 횟수에 제한이 있는건 아니라서 아래 그림처럼 [ Foreach 반복 ]을 사용하여 모든 내용을 전부 메모장에 쓰도록 했습니다.

 

 

[ 직사각형 사칙연산 ]을 통해 OCR 스마트 체크에서 인식한 텍스트 영역을 좀 더 넓게 잡아주세요. 첫번째 텍스트 인식 영역이 글자와 타이트하게 붙어 있기 때문에 취하는 조치입니다. 너무 글자만 정확하게 이미지를 따면, 인식률이 떨어지기 때문입니다.

 

 

그리고, 두번째줄의 "" 인식 때문에 가로(Width) 넓이는 좀 크게 잡아 주었습니다.

 

 

이제 사각형 영역을 다시 만들었으므로 이 영역을 변수에 저장하고, OCR 체크 액션에서 가져옵니다. 한글 인식율을 높이기 위해 모델을 Best로 변경하세요.

 

 

[ 텍스트 쓰기 ]와 [ 키보드 입력 ]을 추가하세요. 텍스트 쓰기는 두번째 OCR 체크에서 인식한 글자를 메모장에 써주는 기능이고 키보드 입력은 텍스트를 다 쓴 다음 줄바꿈을 하기 위한 액션입니다. 이렇게해서 간단하게 OCR 스마트 체크로 멀티 라인 텍스트를 인식하고, 좀 더 성능이 좋은 OCR 체크로 한번 더 글자를 인식하도록 했습니다. 완성된 스크립트를 실행 해볼까요? 아래 동영상처럼 이제는 완벽하게 글자를 인식했습니다^^

https://youtu.be/7yRf0CWQzd0

 

 

이번에는 아래 그림과 같이 [ 텍스트 말하기 ] 액션을 추가하고, 속성을 설정하세요.

 

 

엔지엠 RPA 매크로를 다시 실행 해볼까요? 소리가 잘 안들리시면 볼륨을 좀 더 높게 설정하고 해보세요^^

https://youtu.be/uhwoTg3RXAU

 

 

이렇게해서 윈도우 화면에서 문자를 찾고, 찾은 문자들을 배열로 다시 한번 처리하는 방법에 대해 알아보았습니다. 텍스트도 잘 인식하고, 키 매크로, 마우스 매크로도 잘 동작합니다. 그리고, 텍스트를 읽어주는 TTS 기능도 잘 동작하고 있네요. 보통, 디스코드나 알람 또는 책을 자동으로 읽을 때 재미로 사용해볼 수 있는 기능들입니다. 대부분은 아마도, OCR 체크로 거래소의 금액을 인식해서 물건을 사고 파는데 이용하고 있을겁니다. 물론, 주식이나 코인에도 사용이 가능합니다. 다음에는 좀 더 재미있는 업무 자동화 RPA 매크로 예제를 가지고 찾아오도록 하겠습니다^^

※ 이 예제에 사용된 스크립트는 첨부되어 있으니, 다운로드 후 에디터로 열어보세요.

[ 초보자도 쉽게 따라할 수 있는 기초 학습 강좌 보기 ]

 

원본 글 보기

http://ngmsoftware.com/bbs/board.php?bo_table=tip_and_tech 

 

엔지엠소프트웨어

엔지엠 매크로는 복잡한 반복작업을 자동화할 수 있습니다. PC 게임, 모바일 게임을 최적으로 지원하며 모든 PC 프로그램 및 업무에 적용할 수 있습니다.

www.ngmsoftware.com

#비활성매크로 #g102매크로 #철권매크로 #레이저마우스매크로 #ghub매크로 #녹화매크로 #키보드반복매크로 #로지텍마우스광클매크로 #플라스크매크로 #윈도우매크로 #비활성g매크로 #오토매크로 #자동사냥 #주식매크로 #오토핫키키보드 #오토핫키마우스 #오토핫키이미지 #지존오토 #기계식매크로 #하드웨어매크로 #무한반복매크로 #대량이메일발송매크로 #엑셀VBA매크로 #주식모니터링매크로

반응형

댓글