OCR을 위한 오픈소스 VLM을 선택할 때, 개인이 고를 수 있는 두 가지 최선의 선택지는 PaddleOCR-VL과 GLM-OCR이다. Marker-Inc-Korea에서 발표한 KO-VLM-Benchmark에는 다양한 모델의 한국어 VLM 벤치마크가 첨부되어있다. 성능 측면만을 고려하면 위 벤치마크의 모델들을 채택하는 것이 가장 좋은 선택이다. 다만, 비용 측면을 함께 고려해야 한다면 PaddleOCR-VL과 GLM-OCR 두 모델은 여전히 최선의 선택지 중 하나다.

PaddlePaddle/PaddleOCR-VL-1.5

HF Link

HuggingFace readme 발췌

파라미터 크기가 0.9B인 PaddleOCR -VL-1.5 는 OmniDocBench v1.5에서 94.5%의 정확도를 달성하여 이전 최고 성능 모델인 PaddleOCR-VL을 능가했습니다. 표, 수식 및 텍스트 인식에서 상당한 개선이 관찰되었습니다.

본 논문 은 불규칙한 형태의 객체 위치 파악을 지원함으로써 문서 구문 분석에 혁신적인 접근 방식을 도입하여 , 기울어지거나 휘어진 문서 환경에서도 정확한 다각형 검출을 가능하게 합니다. 스캔, 기울기, 휘어짐, 화면 촬영, 조명 등 5가지 실제 시나리오에 걸친 평가 결과, 기존의 오픈 소스 및 상용 모델보다 우수한 성능을 보여줍니다.

이 모델은 텍스트 탐지(텍스트 줄 위치 파악 및 인식) 와 물개 인식을 도입했으며 , 모든 관련 지표에서 각 작업 분야에서 최고 수준의 성능을 달성했습니다 .

PaddleOCR-VL-1.5는 특수 시나리오 및 다국어 인식 기능을 더욱 강화했습니다 . 희귀 문자, 고대 문헌, 다국어 표, 밑줄, 체크박스에 대한 인식 성능이 향상되었으며 , 지원 언어 범위가 중국 티베트 문자 및 벵골어 까지 확장되었습니다 .

이 모델은 페이지 간 표 병합 및 단락 제목 인식 기능을 자동으로 지원하여 긴 문서 분석 시 발생하는 콘텐츠 단편화 문제를 효과적으로 완화합니다 .

zai-org/GLM-OCR

HF Link

HuggingFace readme 발췌

GLM-OCR은 GLM-V 인코더-디코더 아키텍처를 기반으로 구축된 복잡한 문서 이해를 위한 멀티모달 OCR 모델입니다. 이 모델은 다중 토큰 예측(MTP) 손실 함수와 안정적인 전체 작업 강화 학습을 도입하여 학습 효율성, 인식 정확도 및 일반화 성능을 향상시켰습니다. GLM-OCR은 대규모 이미지-텍스트 데이터로 사전 학습된 CogViT 비주얼 인코더, 효율적인 토큰 다운샘플링을 지원하는 경량 크로스모달 커넥터, 그리고 GLM-0.5B 언어 디코더를 통합합니다. PP-DocLayout-V3 기반의 레이아웃 분석 및 병렬 인식의 2단계 파이프라인과 결합하여, GLM-OCR은 다양한 문서 레이아웃에서 견고하고 고품질의 OCR 성능을 제공합니다.

주요 특징

최첨단 성능 : OmniDocBench V1.5에서 94.62점을 획득하여 전체 1위를 차지했으며, 수식 인식, 표 인식 및 정보 추출을 포함한 주요 문서 이해 벤치마크에서 최첨단 결과를 제공합니다.

실제 시나리오에 최적화 : 복잡한 표, 코드가 많은 문서, 인장 및 기타 까다로운 실제 레이아웃에서도 안정적인 성능을 유지하도록 설계 및 최적화되었습니다.

효율적인 추론 : GLM-OCR은 0.9B개의 파라미터만으로 vLLM, SGLang, Ollama를 통한 배포를 지원하여 추론 지연 시간과 컴퓨팅 비용을 크게 줄여주므로 고동시성 서비스 및 엣지 환경에 이상적입니다.

사용 편의성 : 완전한 오픈 소스이며 포괄적인 SDK 및 추론 툴체인을 갖추고 있어 간편한 설치, 한 줄 명령 실행, 기존 프로덕션 파이프라인과의 원활한 통합을 제공합니다.

벤치마크

두 모델은 초 경량 오픈소스 모델로, 각각 0.9B 파라미터로 구성되어 있으며, OCR 특화 VLM이다. 위의 KO-VL-Benchmark에서 상위권을 구성하고 있는 Gemini-3-pro와 GPT 5.2와 비교해서도 OCR 영역에서 우세한 성능 벤치마크를 보여준다. 그러나 위 이미지의 벤치마크는 중국어와 라틴어 관련 결과가 크게 반영되어 한국어 영역에서는 동일하게 작동하지 않는다.

이하의 Delores-Lin/MDPBench는 17개 언어(중국어 간체, 중국어 번체, 영어, 아랍어, 독일어, 스페인어, 프랑스어, 힌디어, 인도네시아어, 이탈리아어, 일본어, 한국어, 포르투갈어, 러시아어, 태국어, 베트남어), 다양한 문자 체계, 그리고 다양한 사진 촬영 조건을 아우르는 3,400개의 문서 이미지로 구성된 벤치마크로 여기에서 각 모델의 한국어(KO) 벤치마크를 참고할 수 있었다.

Main Results

해당 벤치마크에 따르면 PaddleOCR-VL-1.5은 86점을 달성하며 여타 모델보다 나은 점수를 받았다. GLM-OCR은 61.2점을 기록하며 기존의 통합 벤치마크에서 예견되었던 성능보다는 기대 이하의 성능을 보여줬지만, 경량 오픈소스 VLM 이라는 측면에서 보면 상위권에 해당한다.

오히려 위 표를 보면 MonkeyOCR 의 성능이 더 매력있게 느껴진다 (우리가 프로젝트를 시작했을 당시에는 해당 모델의 데모 버전만 나온 상태였고, dots.mocr은 26.03.15에 출시, MDPBench는 26.04.01에 공개되었다.)

국내 VLM 관련 커뮤니티에서도 PaddleOCR은 호평이 많은 반면, GLM-OCR의 성능에 관해서는 의아해 하는 의견이 많이 보였다.

따라서 우리 프로젝트에서는 PaddleOCR-VL-1.5, 내지는 PaddleOCR-VL-1.5의 경량화 모델을 사용하는 방향으로 정하게 되었다.

일상에는 스크린샷, 강의 자료 사진, 영수증, 음성 메모처럼 저장은 쉽지만 다시 찾기 어려운 데이터가 쌓입니다. 저희 팀의 Snapocket은 이 비정형 데이터를 자동으로 읽고 정리해, 검색 가능한 개인 지식 베이스로 바꾸는 프로젝트입니다.

Project Github Link

우리가 해결하려는 문제

최근 비정형 데이터는 빠르게 늘고 있지만 이를 구조화해 활용하는 도구는 여전히 부족합니다.
특히, 개인 지식 관리(PKM)에 agent를 활용하고자 하는 경우 이미지/음성 등의 비정형 데이터는 큰 병목입니다.
따라서, 이 문제를 해결하기 위해

• 이미지/문서/오디오 등 멀티모달 입력 처리
• 정보 추출 결과를 제목·요약·태그·카테고리로 구조화
• 검색과 그래프 탐색으로 재활용 가능하게 변환

하도록 만드는 것이 ‘Snapocket‘의 목표입니다.

Snapocket의 핵심 기능

이미지/문서: OCR + VLM 기반 정보 추출 음성: ASR 기반 텍스트 변환 공통 출력: JSON 형태의 정리된 메타데이터(제목, 요약, 태그, 핵심 개념 등)

현재 프로젝트 구현 흐름 (MVP)

1. 사용자가 파일 업로드 (pdf, png, jpg, mp3, wav, mp4)
2. 백엔드가 분석 작업(Job) 생성 후 AI 서버에 비동기 요청
3. 분석 결과를 문서 메타데이터로 저장
4. 사용자가 결과를 검수/확정
5. 검색/지식그래프 UI에서 재탐색

기술 스택

Frontend: Next.js
Backend: FastAPI (REST + GraphQL)
AI Service: OCR/VLM + ASR 파이프라인, 로컬 추론 환경 기반
Infra: Docker, AWS

1. Micro Operation & Clock Cycle

• Micro Operation: CPU 내부에서 수행되는 기본 동작
• Clock Cycle 단위로 수행됨

예:

• 클록이 1GHz -> 1 cycle = 1ns

2. 명령어 인출 사이클 (Fetch Cycle)

Micro Operation

• Cycle1 : MAR <- PC
• Cycle2 : MBR <- M[MAR], PC <- PC + 1
• Cycle3 : IR <- MBR

설명

• PC: 다음 실행할 명령어 주소 저장
• MAR: 주소 전달
• MBR: 메모리에서 읽은 명령어 저장
• IR: 실행할 명령어 저장

총 수행 시간

• 3 cycle = 3ns (1GHz 기준)

3. 제어장치 (Control Unit)

• 실제 연산을 수행하지 않음
• ALU, 메모리 등에 명령을 내려 실행을 제어하는 역할

4. 명령어 형식

• 구성: 연산코드(opcode) + 오퍼랜드(address)

예:

• MOV R1, R2 -> R1 <- R2
• ADD R1, R2 -> R1 <- R1 + R2

5. 명령어 종류

• 데이터 이동: LOAD, STORE, MOV
• 데이터 처리: ADD, SUB 등
• 제어 흐름 변경: Branch

분기 명령어:

• 조건문, 반복문 구현 가능
• 예: JUMP

6. ADD 명령어

기능:

• 메모리 데이터를 AC에 더하고 결과를 AC에 저장

Micro Operation

• Clock1 : MAR <- IR(address)
• Clock2 : MBR <- M[MAR]
• Clock3 : AC <- AC + MBR

7. LOAD 명령어

기능:

• 메모리 데이터를 AC에 그대로 저장

Micro Operation

• Clock1 : MAR <- IR(address)
• Clock2 : MBR <- M[MAR]
• Clock3 : AC <- MBR

차이:

• ADD: 연산 수행
• LOAD: 단순 저장

8. 인터럽트 (Interrupt)

정의:

• 프로그램 실행 중 CPU의 작업을 중단시키고 다른 작업을 수행하게 하는 신호

ISR (Interrupt Service Routine):

• 인터럽트를 처리하는 프로그램

9. 인터럽트 처리 과정

1. 현재 명령어 실행 완료
2. 다음 실행할 주소(PC 값)를 스택에 저장
3. ISR 시작 주소를 PC에 저장
4. ISR 수행
5. 종료 후 원래 프로그램으로 복귀

복귀 시:

• 저장된 PC 값(i+1)으로 돌아감

10. 인터럽트 사이클 Micro Operation

Micro Operation

• Clock1 : MAR <- SP, MBR <- PC
• Clock2 : M[MAR] <- MBR, SP <- SP - 1
• Clock3 : PC <- ISR 시작주소

11. 스택 포인터 (SP)

• Stack Pointer
• 스택의 top 주소 저장
• 인터럽트 발생 시 PC 값을 저장하는 위치 지정

특징:

• 데이터 저장 후 SP 감소 (stack down 방식)

핵심 요약

• Fetch cycle은 3단계로 구성됨 (MAR -> MBR -> IR)
• MOV는 값 복사 명령어
• ADD와 LOAD의 차이는 연산 여부
• 인터럽트에서는 PC를 먼저 저장한 후 ISR로 이동
• Stack frame은 LIFO 구조

print("Hello World!")

이렇게 인용도 가능합니다.

작성하고

ㄱㄱㄱㄴㄴㄴ

실험 메모

• Tokenizer를 SentencePiece에서 BPE로 교체 → 학습 속도 12% 개선
• Warmup step을 2k에서 4k로 늘려 안정적인 수렴 유도
• BLEU 지표 26.4 → 27.9로 상승

다음 주에는 추론 속도를 개선하기 위해 양자화 실험을 진행할 예정입니다.

핵심 정리

1. 균형 조건을 약간 완화하면 삽입 속도를 크게 높일 수 있다.
2. 트리 높이 제한을 모니터링하는 헬퍼 함수를 추가해 디버깅이 쉬워졌다.
3. 테스트 커버리지를 85%까지 확보하며 엣지 케이스를 잡아냈다.

다음 글에서는 세그먼트 트리와의 비교를 다룰 예정입니다.

• 월/화: 프로젝트 마감 준비, 늦은 저녁 러닝으로 스트레스 관리
• 수: 팀 회의 후 카페에서 개인 학습
• 목/금: 업무 정리, 주말 여행 계획 세우기

회고를 통해 다음 주에는 조금 더 여유 시간을 확보하기로 했습니다.

루틴 구성

1. 06:30 기상
2. 10분 스트레칭 & 명상
3. 20분 러닝
4. 아침 식사 후 30분 독서

실험 결과 오전 생산성이 평균 18% 상승했습니다.

• 미국 CPI 전년 대비 3.7% → 3.8%
• 코어 CPI는 예상치와 동일하게 4.1% 기록
• 한국 수출 지표가 5개월 연속 증가세

단기 변동성은 커졌지만, 중장기 정책 방향은 큰 변화가 없을 것으로 판단합니다.

연습 내용

• 15분 드로잉 5세트
• 노을 시간대 컬러 연습
• 건물 구조를 단순화해 표현

SNS에 업로드해 피드백을 받고 있으며, 월 2회 크루 세션에 참여하고 있습니다.