외부로 데이터가 나가지 않는 상담 챗봇

고객관리/예약

클라우드 AI API 대신 사내 GPU PC에 LLM을 올리고, 기존 리눅스 웹서버의 PHP가 호출하는 구조 입니다.
회사정보는 DB에서 참조하여 답변하고, AI가 모르는 질문은 담당자에게 넘깁니다.

사내 네트워크 — 데이터가 밖으로 나가지 않음

홈페이지 방문자

챗봇 위젯

웹서버 (PHP)

Rocky Linux · GPU 없음

내부 API

GPU PC

Ollama + 오픈소스 LLM

RTX 3050 8GB급

응답 1초 내외

↑

회사 정보 DB

소개 · 실적 · 연혁

그림 2 · 웹서버와 추론 서버를 분리한 구조. GPU 서버 한 대만 추가하면 됩니다

홈페이지 챗봇 — 샘플 화면

안녕하세요. 회사 소개, 개발 실적, 상담 신청을 도와드립니다.

Flutter 앱 개발도 하시나요?

네, Flutter로 Android·iOS 앱을 함께 개발합니다. 견적 상담을 원하시면 연락처를 남겨주세요.

대표 전화번호 알려줘

정확한 정보는 담당자가 안내드리겠습니다. 문의 남기기 ›

설계 판단

오픈소스 모델 상업 라이선스 검토 예

구축사례 상세