[250318] pgvector란?

pgvector란?

1. pgvector 정의

`pgvector`는 PostgreSQL에서 벡터 데이터(예: 임베딩)를 효율적으로 저장하고 검색할 수 있도록 도와주는 확장(extension)이다.
특히, 머신러닝과 AI 관련 애플리케이션에서 유사한 데이터를 빠르게 찾는 최근접 이웃 검색(Nearest Neighbor Search, NNS)에
많이 사용된다.

2. pgvector의 주요 기능

벡터 데이터 저장

• `pgvector`는 `vector` 타입을 제공하여 벡터 데이터를 직접 저장할 수 있음
• 예: `vector(1536)` → OpenAI의 `text-embedding-ada-002` 모델에서 생성한 1536차원의 벡터를 저장 가능

유사도 검색(Nearest Neighbor Search, NNS)

• 거리 계산을 기반으로 한 유사한 벡터 검색 지원
• 지원하는 거리 메트릭:
  • `L2 distance (Euclidean distance, <->)`
  • `cosine distance ( <=>)`
  • `inner product distance ( <#>)`

효율적인 검색 인덱스

• `IVFFlat (Inverted File with Flat Search)` 인덱스를 사용하여 대량의 벡터 검색 속도 향상
• `HNSW (Hierarchical Navigable Small World)` 인덱스도 지원(최근 추가됨)

---

3. pgvector 설치 및 사용법

1️⃣ 확장 설치

CREATE EXTENSION IF NOT EXISTS vector;

2️⃣ 테이블 생성 (예: 3차원 벡터 저장)

CREATE TABLE items ( id SERIAL PRIMARY KEY, embedding vector(3) );

3️⃣ 데이터 삽입

INSERT INTO items (embedding) VALUES ('[1,2,3]'), ('[4,5,6]'), ('[7,8,9]');

4️⃣ 유사도 검색

• `L2 거리(유클리드 거리)` 기반 검색

 

SELECT *, embedding <-> '[1,2,3]' AS distance FROM items ORDER BY distance LIMIT 5;

• `코사인 유사도` 기반 검색

 

SELECT *, embedding <=> '[1,2,3]' AS distance FROM items ORDER BY distance LIMIT 5;

---

4. IVFFlat 인덱스 생성 (빠른 검색)

대량의 벡터 데이터를 저장할 경우, `IVFFlat` 인덱스를 사용하면 속도를 크게 향상할 수 있음

CREATE INDEX ON items USING ivfflat (embedding vector_l2_ops) WITH (lists = 100);

• `lists = 100`: 벡터를 100개의 클러스터로 나눔(튜닝 가능)

---

5. pgvector 활용 예시

1. AI 추천 시스템: 유사한 유저/상품 추천 (예: 데이트코스 추천, 여행지 추천)
2. 자연어 처리(NLP): 문서 검색, 챗봇 응답 생성
3. 이미지 검색: 비슷한 이미지 찾기
4. 음성 분석: 유사한 음성 패턴 검색

---

6. pgvector vs 다른 벡터 DB 비교

비교 항목	`pgvector`	`FAISS`	`Milvus`
기반 DB	PostgreSQL	독립형	독립형
확장성	낮음	높음	높음
인덱스	IVFFlat, HNSW	IVF, HNSW	IVF, HNSW
트랜잭션 지원	✅	❌	✅
SQL 지원	✅	❌	일부
유사도 검색 속도	느림	빠름	빠름

• pgvector는 PostgreSQL을 그대로 활용하면서 벡터 검색 기능을 추가하는 것이 장점
• 반면, FAISS나 Milvus 같은 전문 벡터 데이터베이스에 비해 검색 속도는 느릴 수 있음

---

7. pgvector와 여행 일정 추천 시스템

📌 사용자가 계획 중인 AI 기반 여행 일정 추천 챗봇에서 `pgvector` 활용 가능성
✅ 구글 API를 이용해 장소 정보를 벡터화하고, 이를 `pgvector`에 저장하면 유사한 장소 검색 가능
✅ 예를 들어, 사용자가 선호하는 여행지 임베딩을 기반으로 비슷한 분위기의 장소 추천 가능

예상 구조

• `txt_folder`에 저장된 장소 정보를 벡터 임베딩으로 변환 (`OpenAI embeddings API` 등 활용)
• `pgvector`에 저장 후, 코사인 유사도를 이용해 유사 장소 추천

---

8. 결론

`pgvector`는 PostgreSQL 환경에서 AI 기반 추천 시스템을 만들 때 매우 유용한 도구이다~

• PostgreSQL을 그대로 사용하면서 벡터 데이터 저장 & 검색 가능
• 여행 추천, 검색, NLP, 이미지 분석 등 다양한 분야에 적용 가능
• `IVFFlat` 인덱스를 활용하면 대량 데이터에서도 성능 향상 가능