가상브라우저를 활용한 데이터 조회 서비스

기술스택

• 주요 기술
  • Node.js
  • TypeScript
  • Express.js
  • Puppeteer
  • Cluster
• 그 외 기술
  • Docker

개인 업무내용

• 데이터를 조회하는데 있어 브라우저 헤더값을 필요로 하는 상황이 존재하는데 정상적인 방법으로 데이터를 가져올 수 있는 API 작업

• API 배포마다 Chromium 브라우저 바이너리를 필요로 하기 때문에 Docker의 이미지로 만들어 AlpineLinux + Chromium + Node.js를 지원하는 이미지 생성

• 개발환경은 AMD64를 위주로 사용하고 서비스는 AWS Gravition2를 사용하고 있어 docker의 buildx기능을 활용하여 amd64와 arm64 이미지를 빌드하여 활용합니다

  

• 특정 페이지에 접속 후 내부에서 API를 조회하거나 특정 태그를 선택하는 기능, 그리고 javascript코드를 전달하여 데이터를 가공할 수 있도록 작업

성과

1. RestAPI만으로 가져올 수 없던 브라우저 데이터를 가져올 수 있도록 구성
2. html 데이터를 그대로 가져오는 것은 불필요한 데이터가 포함되어 있기에 css selector나 함수를 통해 필요한 데이터로 구분하여 전달하는 데이터 최소화
3. 멀티 인스턴스와 Node Cluster 구성을 통해 자원을 최대한 사용하며 사내 공통 API모듈로 활용