| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 보안
- FastAPI
- 크롤링
- 소셜로그인
- electron
- 도메인설계
- python
- next.js
- 인증
- sqlite
- Android
- 프론트엔드
- React
- contextBridge
- REST API
- typescript
- Kotlin
- 배포
- 백엔드
- github actions
- php
- 아키텍처
- playwright
- javascript
- Vite
- 메일자동화
- JWT
- 온디바이스AI
- 상태관리
- 마이그레이션
Archives
- Today
- Total
목록GCP (1)
HM소프트
예술품 경매 데이터 수집 플랫폼 개발기 (1) — 분산 크롤러 인프라 설계
공개 경매 데이터 수십만 건을 상대 서버 부담 없이 끝까지 긁는 분산 크롤러 인프라를 설계했다. HTML 대신 검색 인덱스를 페이지 컨텍스트에서 직접 질의하고, 1000건 한계는 적응형 재귀 분할로 우회했다. 적응형 레이트 리미팅, 체크포인트 재시작, 14대 VM 분산과 차단 시 자동 지역 이전까지 다룬다.수십만 건을, 남의 서버를 괴롭히지 않고, 끝까지한 해외 미술품 경매 데이터 플랫폼에 공개되어 있는 출품작 기록을 대규모로 수집하는 파이프라인을 만들었다. 한 건의 출품 기록에는 제목·설명·카테고리 계층·경매사·낙찰가·추정가·작가·이미지가 들어 있고, 이걸 전수에 가깝게 모아 분석에 쓰는 게 목적이었다. 데이터는 외부 공개 사이트에 있으니 가져오는 일 자체는 불법도 비밀도 아니다. 진짜 어려운 건 따로..
외주 개발일지
2026. 6. 18. 01:17