웹크롤링 매크로 만들기

웹크롤링 매크로 특정 사이트의 이메일 추출하기. (크롤러와 정규식 사용하기)

 

웹크롤링, 웹스크레이퍼 매크로, 문자 판독, 주식 자동매매, 코인 단타매매, 이미지맥스, 기계식 매크로, 오토핫키 매크로

매크로 커뮤니티, C# 매크로, 딥러닝 매크로, 인공지능 매크로, 매크로 무료 다운로드 http://ngmsoftware.com 

엔지엠소프트웨어

 

안녕하세요. 엔지엠소프트웨어입니다. 오늘 알아볼 내용은 웹크롤링에 대한 내용입니다. 특정 사이트에서 이메일을 수집하는 방법을 알아볼건데요. 우선~ 아래 동영상을 참고해서 엔지엠 에디터를 실행하고, 새로운 스크립트를 추가(Ctrl+N)하세요.

 

 

아래 그림과 같이 [ 웹 크롤러 ] 액션을 스크립트에 추가하세요.

1. 외부 API 선택
2. 웹 API 카테고리 확장
3. 웹 크롤러 선택
4. 더블클릭 또는 드래그로 스크립트에 추가

 

 

이메일을 추출할 사이트 주소를 입력합니다.

1. 인스턴트 모드를 True로 설정하면 웹브라우저 없이 크롤링할 수 있습니다.
2. 크롤링할 주소를 "https://stackoverflow.com/questions/201323/how-can-i-validate-an-email-address-using-a-regular-expression"와 같이 입력하세요.

 

 

실행하면 사이트의 모든 내용(HTML)을 가져옵니다. 이 내용을 [ 변수 ]에 저장해야 합니다.

1. 함수 상자 선택
2. 변수 카테고리 확장
3. 변수 추가 액션 선택
4. 더블클릭 또는 드래그로 스크립트에 추가
5. 아이디에 "HTML" 입력
6. 덮어쓰기 속성을 True로 변경

 

 

웹 크롤러 액션을 선택한 후 속성에서 크롤링한 HTML 내용을 변수에 추가 해줍니다.

1. 추가하기 클릭
2. 추가 버튼 클릭
3. 변수 이름과 데이타 선택
4. 확인 버튼 클릭

 

 

[ 정규 표현식 ] 액션을 추가한 후 아래 그림과 같이 설정 해주세요.

1. 함수 상자 클릭
2. 표현식 카테고리의 정규 표현식 액션 선택
3. 더블클릭 또는 드래그로 스크립트에 추가
4. 매치 옵션을 Matchs 선택
5. 정규 표현식에 "\w+([-+.']\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*" 입력

 

 

정규 표현식에서 이메일을 추출할 원본 데이타를 가져와야 합니다.

1. 가져오기 클릭
2. 추가 버튼 클릭
3. 변수 이름과 데이타 선택
4. 확인 버튼 클릭

 

 

스크립트를 실행하면, 예제로 입력한 사이트에서 이메일 주소를 배열 형태로 모두 가져옵니다.

 

 

간단하지만, 쉽고 강력한 기능입니다. 정규식을 이용하면 사이트 데이타에서 이메일뿐만 아니라 사이트 주소나 어떤 값들을 규칙에 맞게 추출할 수 있습니다. 물론, 정규식을 잘 다루기 위해서는 관련 지식을 습득하거나 정규 표현식 관련 책을 한번 읽어보는게 좋긴 합니다. 혹시 궁금한 내용이 있으면 커뮤니티의 질문과 답변 게시판에 질문 올려주세요^^

 

파이썬 아두이노 매크로, C# 아두이노 매크로, 비활성 매크로, 윈도우 API 매크로, 지존오토, 다클라 매크로, 오핫 키보드

엑셀 VBA 매크로, 매크로 제작 의뢰, 매크로 강좌, 모바일 매크로, 무료 매크로 다운로드 http://ngmsoftware.com 

엔지엠소프트웨어