홈 / AI · 언어모델

01 AI / 언어모델

데이터가 밖으로 나가지 않는 온프레미스 AI

sLLM, RAG, 온프레미스 하드웨어, 엣지 AI, 생성모델, 로봇 모방학습까지. 직접 만들고 현장에서 검증한 것만 적었습니다.

로컬 LLM 솔루션: RAG 챗봇, NL2SQL

외부 API 없이 사내 서버의 로컬 LLM으로 동작하는 두 가지 솔루션. 회사 문서와 데이터가 밖으로 나가지 않습니다.

RAG 챗봇 화면
검색 증강(RAG) 챗봇 - PDF, 교안 등 사내 문서를 올리면 문서 근거로 답합니다. 근거 문서, 페이지를 함께 제시하며, 수식, 코드 렌더링을 지원합니다.
NL2SQL 솔루션 화면
NL2SQL 솔루션 - 자연어 질문을 SQL로 변환해 데이터베이스(BigQuery 등)에 질의하고 결과를 요약합니다. 생성된 SQL을 그대로 보여주어 검증할 수 있습니다.

로컬 LLM 시스템 아키텍처

카카오톡, 웹 등 여러 채널의 대화를 Kubernetes 위의 애플리케이션 게이트웨이가 받아 세션, 시스템 프롬프트, 함수 목록을 관리하고, 검색 경로와 생성 경로를 거쳐 응답합니다.

  1. 대화 경로카카오 i 오픈빌더, 웹 UI → 애플리케이션 게이트웨이(k8s) → 로컬 LLM 서빙(vLLM / TGI) → 응답
  2. 검색 경로(RAG)문서 수집(PDF, Notion, Word) → 임베딩, 벡터DB(Chroma) → 질의 확장 → Cross Encoder 재순위 → 관련 문서
  3. 도구 및 운영함수 호출(외부 API, 스프레드시트) / 대화 로그, 모니터링 / 컨테이너 배포(CI/CD)

게이트웨이, 질의 확장, 재순위, 함수 호출 계층은 자체 구현 모듈입니다.

온프레미스 AI 하드웨어 박스

공유메모리 128GB 구성으로 최대 96GB VRAM 할당. 고객 용도에 맞춰 커스터마이즈하는 sLLM 구동용 하드웨어 박스로, HW와 SW를 함께 최적화합니다.

온프레미스 AI 하드웨어 박스
  • 일반 챗봇, 다양한 RAG, 워크플로우 자동화, 이미지, 동영상 생성을 한 박스에서 처리 - 데이터가 외부로 나가지 않아 보안 문제가 원천 해소
  • 추가 비용 없이 무제한 사용, 사용량 증가에 따라 하드웨어 구성 변경 가능
Open WebUI 기반 대화 화면
Open WebUI 기반 대화 화면 - RAG, 수식 렌더링
n8n 워크플로우 자동화 화면
n8n 워크플로우 자동화 - 이미지 생성 파이프라인

엣지 AI: arcshield-ai

㈜세종일렉트릭, ㈜세종하이텍 배전반 전류, 환경 데이터에서 아크와 이상을 판별하는 AI 엔진. FFT 대신 전류 패턴의 잠재 특징으로 판별해 미세 아크에 강하며, 같은 엔진을 라즈베리파이와 젯슨나노 두 보드에 이식해 현장 장비로 만들었습니다.

젯슨나노 이식 컨테이너 구성도
젯슨나노 이식 (컨테이너 구성) - 센서, 배전반 데이터를 UDP로 받아 필터체인(1D CNN + Attention)으로 특징을 뽑고, Dense Layer로 이상 유무를 판별해 외부 시스템에 전달합니다.
arcshield-ai 현장 장비
현장 장비 - DIN 레일 케이스, 보드별 방열 케이스 2종

ARM 대응 라즈베리파이, 젯슨나노(aarch64)에서 AI 엔진을 빌드, 배포하고 장비로 실증했습니다. DGX Spark 등 ARM 기반 AI 워크스테이션 환경에도 같은 경험을 적용합니다.

공인 인증 및 우수제품 지정

당사가 개발한 AI 엔진이 탑재된 ㈜세종일렉트릭 제품이 받은 인증입니다. 인증 명의는 제품 제조사이며, 당사는 탑재 소프트웨어를 개발하였습니다.

성능인증서
성능인증서중소벤처기업부, 2025.10.28 ~ 2029.10.27
AI 기반 화재, 고장 예측 스마트 배전반
인공지능+ 인증서
인공지능+ 인증서한국표준협회(KSA), AIS-0019
이상징후 감지장치 SW v1.0, 2025.04.17 ~ 2027.04.16
우수제품 지정증서
우수제품 지정증서조달청, 2026.04.13 ~ 2029.04.12
수배전반(고압배전반, 저압배전반, 전동기제어반, 분전반)

당사 역할 아크, 이상 판별 AI 엔진(arcshield-ai) 개발 - 학습 데이터 설계, 모델 구현, 라즈베리파이, 젯슨나노 이식 및 현장 장비 실증. 이 밖에 KTL AI 인증(성적서 24-084059-01, 2025), KOSA AI 인증(2026) 취득.

생성모델과 영상 합성 (아바타 시스템 PoC)

㈜세종하이텍 / 국내 대형 가전사 (2022) StyleGAN2를 도메인 데이터셋으로 전이학습하고 인코더를 따로 학습시켜 인물 사진을 아바타로 변환하며, MobileFaceSwap으로 그 얼굴을 대상 영상의 매 프레임에 정합합니다.

1) 아바타 생성 - StyleGAN2 전이학습

원본 이미지
원본 이미지
아바타 결과
아바타 결과

FFHQ 사전학습 → 도메인 얼굴 데이터셋 전이학습 → 랜드마크 검출, 정렬 → Domain-guided Encoder(자체) → 파인튜닝 Generator(자체)

2) 영상 합성 - MobileFaceSwap

대상 영상 프레임
대상 영상 프레임
합성 프레임
합성 프레임

정렬 224×224 → MobileFaceSwap U-Net(자체) → Mask → cv::warpAffine 정합 → 합성 프레임 = FaceSwap 얼굴 × Mask + 원본 프레임 × (1 − Mask)

로봇과 모방학습

SO-ARM-101 6자유도(6-DoF) 로봇팔 - Leader Arm과 Follower Arm 연동을 통한 텔레오퍼레이션으로 시연 데이터를 모으고, 모방학습으로 정책을 학습합니다.

  • 데이터 수집 - 연결된 카메라와 모터 센서로 멀티모달 데이터를 수집: 영상과 센서 데이터를 통합 학습
  • Behavioral Cloning - Action-Chunking Transformer와 Diffusion Policy로 연속 동작을 구현
  • Zero-shot Generalization - 사전 학습된 정책을 활용해 새로운 작업에 즉시 적응
  • 시뮬레이션 연계 - Isaac Sim / Isaac Lab 기반 시뮬레이션 학습과의 연계를 연구 중
SO-ARM-101 로봇팔

이 분야의 과제를 논의하고 싶으신가요

개발을 맡을 엔지니어가 직접 답합니다. 메일이나 전화로 연락 주십시오.

bardroh@weable.ai 031-708-4787