Claude Code жүйесіндегі PDF файлдары: түрлендіру, токендер және құрылымды сақтау

Claude PDF файлымен не істейді және әр бет неге 1,500–3,000 токен жұмсайды?#

Anthropic-тің ресми құжаттамасында бұл үдеріс үш қарапайым қадаммен сипатталған:

Бұл қисынды естіледі, бірақ өңдеу шығыны беттер санына қарай сызықтық түрде өседі. Ал жазылым лимитінің бір PDF файлдан кейін неге таусылатынын түсіндіретін мына санға назар аударыңыз:

Мұның қанша екенін көру үшін Anthropic Bedrock-та бірдей 3 беттік PDF файлын екі режимде өлшеген. Мәтін режимінде (Converse Document Chat) ол шамамен 1,000 токен жұмсаған. Визуалды талдау режимінде (Claude PDF Chat) 7,000 токен жұмсалған. Кескіндерді қосу өңдеуді 7 есе қымбаттатады.

Бет скриншоттары одан да көп токен жұмсайды. Өлшемі 1000×1000 пиксель скриншот шамамен 1,300 токен тұрады.

Механизмі қарапайым: PDF файлдарын өңдеу қымбат, өйткені Claude өзінің OCR жүйесіне сенбейді. Ол мәтін мен кескінді салыстыру үшін екеуін де пайдаланады — ал сіз екі қабат үшін бірдей уақытта төлейсіз. Үлкен құжаттармен басқаша жұмыс істеуге болады: файлды жоба қалтасында Markdown ретінде сақтап, Claude-қа «міне, ішінде ақпарат бар құжат — оны реттеп, бөліп шық» деңіз. Ол мазмұнды өз файлдарына бөліп, бәрін бірден тұтынудың орнына реттелген мәтінмен жұмысын жалғастырады.

Әдеттегі тапсырмада PDF қанша токен жұмсайды?#

Нақты сандар (Sonnet 4.x моделі, кіріс бағасы — миллион токенге $3):

Бұл — 4 сұраудан тұратын бір ғана айналым. Одан кейін сұрауларды кэштеу қолданылады (әдепкі бойынша TTL — 5 минут, кеңейтілген деңгейде 1 сағатқа дейін; осы аралықта қайталанған сұрауларға 90%-ға дейін жеңілдік беріледі) — үнем одан әрі көбейеді.

Бір PDF файлын жаңа чатқа жүктеген сайын Claude оны қайта оқиды; кэш чаттар арасында сақталмайды.

Сол 15 беттік PDF файлын бір рет Markdown-ға түрлендіріп, төрт жаңа чаттың әрқайсысына .md ретінде қоссаңыз, бұл мысалда 135,000 орнына 15 × 300 × 4 = 18,000 кіріс токені жұмсалады. Әр түрленген бетке 300 және PDF бетіне 2,250 токен — осы есептің жорамалдары, барлық PDF үшін өлшенген тұрақтылар емес. Үнемді бағаламас бұрын нақты құжатты санап, түрлендіру сапасын растаңыз.

Claude Pro жазылымында бұл есептің маңызы одан да арта түседі. Бір 100 беттік есеп бүкіл 5 сағаттық лимитті тауысып жіберуі мүмкін. Markdown форматына түрлендіргеннен кейін осындай 10+ құжат сол бюджеттің ішіне сыяды.

2026 жылы Anthropic API жүйесінде PDF файлдарына қандай шектеулер бар?#

Anthropic құжаттамасында шектеулер басында көрсетілген (2026 жылғы 31 мамырдағы жағдай бойынша):

Claude.ai (тұтынушыларға арналған веб-қолданба) жүйесінде басқа шектеулер бар: бір файл ең көбі 500 MB, ал бір чатта 20 файлға дейін. Бірақ визуалды талдау тек 100 бетке дейінгі PDF файлдарында жұмыс істейді — одан асса, Claude диаграммалар мен сызбаларды көрмей, тек мәтінді ғана алады.

API арқылы PDF жіберудің үш жолы:

1. URL арқылы - "source": {"type": "url", "url": "..."} - құжат желіде тұрса, ең оңай тәсіл.
2. Base64 форматында - "source": {"type": "base64", "media_type": "application/pdf", "data": "..."} - жергілікті файлдар үшін.
3. Files API арқылы - "source": {"type": "file", "file_id": "file_abc123"} - қайталанатын сұрауларға арналған; anthropic-beta: files-api-2025-04-14 бета тақырыпшасын қажет етеді.

Әртүрлі чаттарда бір PDF файлымен жұмыс істегенде үнемдеудің негізгі жолы — Files API. Файлды бір рет жүктеп, file_id алыңыз, содан кейін барлық әрекетте соны пайдаланыңыз. cache_control: ephemeral параметрімен қайталанған сұраулар әдеттегі бағаның 10%-ын құрайды.

Anthropic пайдалану көлемін азайту жөнінде ресми кеңес те береді:

1-әдіс: MarkItDown-ды 5 минутта қалай орнатуға болады?#

MarkItDown — AutoGen тобы жүргізетін Microsoft-тың ресми жобасы. GitHub-та оның 134 мың жұлдызшасы және 9.2 мың fork-ы бар (2026 жылғы мамырдың аяғындағы жағдай бойынша). Жобаның мақсаты README файлында тікелей көрсетілген:

Қолдау көрсетілетін форматтар:

• Құжаттар: PDF, DOCX, PPTX, XLSX
• Веб: HTML, JSON, XML, CSV
• Медиа: транскрипциясы бар аудио, EXIF және OCR бар кескіндер, YouTube видеолары (субтитрлер арқылы)
• Мұрағаттар: ZIP, EPub
• Басқа: Outlook MSG файлдарының ішіндегі барлық тіркемелер

Орнату

Талап: Python 3.10+ (әдетте macOS жүйесінде орнатулы болады; Windows жүйесінде бөлек орнату керек).

pip install 'markitdown[all]'

Барлық формат қажет болмаса, керектерін ғана орнатуға болады:

pip install 'markitdown[pdf, docx, pptx]'

Бір файлды түрлендіру

Ең қарапайым жағдай:

markitdown document.pdf > document.md

Содан кейін document.md ағымдағы қалтада пайда болады. Оны Claude Code жүйесінде @document.md арқылы қосыңыз немесе жобаңыздың жанына қойыңыз.

Python API

Скриптіңізге кіріктіргіңіз келсе:

from markitdown import MarkItDown

md = MarkItDown()
result = md.convert("research-paper.pdf")
print(result.text_content)

# You can save it straight away:
with open("research-paper.md", "w") as f:
    f.write(result.text_content)

MarkItDown НЕ істей алмайды

• Сканерленген PDF файлдарына OCR жасау — ештеңе қайтармайды. Сканерленген файлдарға PyMuPDF4LLM немесе Docling қажет.
• Бірнеше бағаны бар күрделі макеттерді өңдеу — оқу ретін шатастыруы мүмкін.
• PDF ішіне кірістірілген URL-дерді сақтау — оларды сақтамайды.

Қарапайым PDF файлдары (есептер, мақалалар, құжаттама) үшін MarkItDown — ең жақсы таңдау: форматтары көп, бір минутта орнатылады және Python білуді қажет етпейді. Оның кирилл мәтіні бар құжаттарда және сканерленген файлдарда қалай жұмыс істейтіні AI үшін PDF файлын мәтінге айналдыру туралы талдаудағы өлшемдерде көрсетілген.

2-әдіс: PyMuPDF4LLM не ұсынады және оны қашан таңдаған дұрыс?#

MarkItDown форматтардың кең ауқымын ұсынады; PyMuPDF4LLM PDF файлдарын терең өңдейді.

2026 жылғы 31 мамырдағы соңғы нұсқасы — 1.27.2.3 (2026 жылғы 24 сәуірде шығарылған).

Құрамына не кіреді

• Көп бағанды беттердегі оқу ретін дұрыс сақтайды
• Кестелерді GitHub пішіміндегі Markdown-ға түрлендіреді
• Жоғарғы және төменгі колонтитулдарды автоматты түрде алып тастайды
• Кескіндерді бөліп алып, жеке қалтаға салыстырмалы сілтемелермен сақтайды
• Ақылды OCR: тек оқылмайтын бөліктерде қолданылады, өңдеу уақытын шамамен 50% үнемдейді
• Төл C қозғалтқышы, GPU қажет емес

Орнату

pip install pymupdf4llm

Қолдану

import pymupdf4llm

# Basic use - straight to Markdown:
md_text = pymupdf4llm.to_markdown("document.pdf")

# Save it:
with open("document.md", "w") as f:
    f.write(md_text)

Бір жолмен, уәде еткендей:

python3 -c "import pymupdf4llm; \
  open('document.md','w').write(pymupdf4llm.to_markdown('document.pdf'))"

Қай кезде PyMuPDF4LLM-ды MarkItDown орнына таңдаған дұрыс

• Сақтау қажет сілтемелері көп PDF болса (MarkItDown оларды жоғалтады).
• Құжат сканерленген болса және OCR қажет болса.
• Мыңдаған файлды жергілікті түрде жылдам өңдеу керек болса — төл C қозғалтқышы Python орамаларынан жылдам.
• PDF-тен кескіндерді бөліп алып, ары қарай өңдеу үшін жеке қалтаға сақтау қажет болса.

Лицензия туралы маңызды мәлімет (бизнес үшін)

PyMuPDF4LLM қос лицензиямен таратылады: AGPL v3 НЕМЕСЕ Artifex commercial.

AGPL мынаны білдіреді: кітапхананы ашық SaaS жүйесінде пайдалансаңыз, қызметіңіздің бүкіл бастапқы кодын сол AGPL лицензиясымен жариялауыңыз керек. Ішкі пайдалану үшін (мысалы, ноутбуктегі скриптіңіз) шектеулер жоқ.

Кодты жарияламай коммерциялық әзірлеме жүргізу үшін Artifex-тен (artifex.com) лицензия сатып алыңыз. Бағалары жарияланбайды; оларды сату бөлімінен сұраңыз.

Клиенттерге арналған өнім жасап жатсаңыз, лицензияны жұмыстың басында тексеріңіз. MarkItDown (MIT) және Docling (MIT) SaaS үшін қауіпсіздеу.

3-әдіс: MarkItDown MCP серверін Claude Code жүйесіне қалай қосуға болады?#

CLI режиміндегі MarkItDown: «файлдарды алдын ала өзім түрлендіремін»; MCP сервері: «Claude Code қашан түрлендіру керегін өзі шешеді».

Орнату

uv пакет менеджері қажет. Серверді бөлек орнатудың қажеті жоқ; uv оны алғаш іске қосылғанда жүктейді.

Claude Code жүйесінде баптау

Нұсқасы бекітілген бір пәрмен серверді барлық жобаға қосады:

claude mcp add --scope user --env 'ORT_DISABLE_TELEMETRY=1' --env 'UV_PYTHON=3.12' --transport stdio markitdown -- uvx markitdown-mcp@0.0.1a7
claude mcp list

markitdown жазбасының күйі “Connected” болуы керек. Алғашқы іске қосылғанда шамамен жетпіс пакет жүктеледі және оған бір минутқа дейін уақыт кетеді; одан кейін сервер бір-екі секундта іске қосылады.

Пәрменде екі айнымалы не үшін қажет? ORT_DISABLE_TELEMETRY=1 Mac және Linux жүйелерінде сервер ішіндегі onnxruntime қозғалтқышы әдепкі бойынша Microsoft-қа жіберетін статистиканы өшіреді. UV_PYTHON=3.12 серверді Python 3.12 нұсқасында іске қосады. Windows, Linux және Apple Silicon чипі бар Mac компьютерлері үшін алдын ала құрастырылған пакеттер қолжетімді. Intel Mac компьютерлерінде және macOS 13 пен одан бұрынғы нұсқаларда сервер Python 3.14 нұсқасында орнатылмайды. Intel компьютерлері мен Python 3.12 үшін бір ескерту бар: 2026 жылғы маусымнан бері Intel үшін алдын ала құрастырылған пакет болмағандықтан, uv cryptography кітапханасын бастапқы кодтан құрастырады. Орнату ұзағырақ уақыт алуы және сәтсіз аяқталуы мүмкін. Python 3.12 орнатылмаған болса, uv оны өзі жүктеп алады.

Сервер компьютеріңізде тікелей іске қосылады және қол жеткізе алатын кез келген файлды аша алады. Claude Code ашық болса, оны қайта іске қосыңыз; сонда MCP серверлерінің тізімінде markitdown пайда болады.

Қолдану жолы

Claude Code жүйесінде жай ғана мынаны айтыңыз:

Convert /Users/your-user/Documents/report.pdf to Markdown and analyze the main points.

Claude convert_to_markdown(uri) құралын өзі шақырып, Markdown файлын алады да, сонымен жұмыс істейді — PDF контекске жүктелмейді.

Қолдау көрсетілетін URI мекенжайлары

• file:// - жергілікті файлдар
• http://, https:// - желідегі құжаттар
• data: - кірістірілген дерек (Base64)

Қауіпсіздік

Ресми README файлынан:

Әдепкі бойынша, ол localhost мекенжайына байланысады. Серверді HTTP/SSE арқылы іске қоссаңыз (--http --host 127.0.0.1 --port 3001 параметрі), аутентификациясы бар кері проксисіз портты сыртқа ашпаңыз.

Тапсырмаңызға қай әдісті таңдаған жөн?#

Толық салыстыру кестесі:

Marker бенчмарктердегі әсерлі дәлдік көрсеткіштерін жариялайды:

Бірақ Marker жоғары жылдамдықпен жұмыс істеуі үшін GPU қажет және машинамен оқыту модельдерін бірге орнатады. Көптеген тапсырмада (қарапайым мәтінді PDF файлдарында) PyMuPDF4LLM немесе MarkItDown GPU-сыз-ақ бірнеше секундта жұмысын атқарады.

Таңдаудың қарапайым ережесі

1. Бір немесе екі PDF, тез керек - MarkItDown CLI.
2. Ондаған PDF, автоматтандыру қажет - MarkItDown MCP сервері немесе скрипттегі PyMuPDF4LLM.
3. Құрылымын сақтау маңызды PDF сілтемелері мен кескіндері бар - PyMuPDF4LLM.
4. Кестелердің тұрақтылығы маңызды бизнеске арналған өндірістік RAG - Docling.
5. Формулалары бар ғылыми мақалалар - Marker.
6. Ойланып отырмай, PDF-ті Claude түрлендірсін дейсіз - MarkItDown MCP сервері.

Құжаттар қалтасын автоматты түрде түрлендіретін дайын скриптті қалай жазуға болады?#

Практикалық мысал: бір қалтада клиенттерден келген 40 PDF және PPTX есеп бар делік — брокерлік шот үзінділері, келісімшарттар, презентациялар. Қалтаны Claude-қа тікелей жүктеу пайдасыз: бірінші жауапқа дейін контекст терезесі ақпаратқа толып қалады. Төмендегі скриптпен бүкіл қалтаны бір өтуде өңдеңіз, содан кейін көлемді PDF файлдарының орнына жеңіл .md файлдарымен жұмыс істей беріңіз.

Бұл скриптті жоба түбіріндегі scripts/docs-to-md.sh файлы ретінде сақтаңыз:

#!/bin/bash
# docs-to-md.sh - converts all documents in a folder to Markdown using MarkItDown
# Usage: bash docs-to-md.sh ./documents

set -e

INPUT_DIR="${1:-./documents}"
OUTPUT_DIR="${INPUT_DIR}/_md"

mkdir -p "$OUTPUT_DIR"

echo "Scanning $INPUT_DIR..."

for file in "$INPUT_DIR"/*.{pdf,docx,pptx,xlsx}; do
  [ -f "$file" ] || continue

  basename=$(basename "$file")
  name="${basename%.*}"
  output="$OUTPUT_DIR/${name}.md"

  if [ -f "$output" ] && [ "$output" -nt "$file" ]; then
    echo "Skipping $basename (already converted)"
    continue
  fi

  echo "Converting $basename..."
  markitdown "$file" > "$output"
done

echo "Done. Results are in $OUTPUT_DIR"

Оны орындалатын етіңіз:

chmod +x scripts/docs-to-md.sh

Оны іске қосыңыз:

bash scripts/docs-to-md.sh ./reports

Іске қосылғаннан кейін ./reports/_md/ қалтасында барлық құжаттың .md нұсқалары болады. Оларды Claude Code жүйесіне @reports/_md/ арқылы қосып, PDF орнына ықшамдалған мәтінмен жұмыс істеңіз.

Скрипт бұрын түрлендірілген файлдарды автоматты түрде өткізіп жібереді (.md файлы бастапқы файлдан жаңарақ болса) — қайта іске қосу арзанға түседі және бүкіл жұмысты қайта орындамайды.

Идемпотенттілік және инкрементті түрлендіру

Файл атауы өзгермей сақталған жағдайда PDF файлдарының өзгергенін анықтау қажет болса, мазмұн хэшін тексеруді қосыңыз:

hash=$(shasum -a 256 "$file" | cut -d' ' -f1)
hash_file="$OUTPUT_DIR/.${name}.sha256"

if [ -f "$hash_file" ] && [ "$(cat "$hash_file")" = "$hash" ]; then
  echo "Skipping $basename (hash matches)"
  continue
fi

markitdown "$file" > "$output"
echo "$hash" > "$hash_file"

Бұл нұсқа файлды тек мазмұны өзгерген жағдайда ғана қайта түрлендіреді.

Claude жүйесінде PDF-ті қашан Markdown орнына қолданған дұрыс?#

Markdown түрлендіруі жеткіліксіз болатын үш жағдай:

1. Сызбалар мен диаграммаларды визуалды талдау

Claude баға қисығы, үдеріс диаграммасы немесе архитектуралық диаграмма сияқты кескінді «оқуы» керек болса, ол ақпарат Markdown-да болмайды. Markdown тек сурет жазуларын сақтайды; кескіннің өзі жоғалады.

Шешім: PDF файлын жүктеп, визуалды режимді ашық түрде қосыңыз. Claude API жүйесінде жалау автоматты түрде жұмыс істейді; AWS Bedrock жүйесінде citations жалаушасы қажет.

2. Біріктірілген ұяшықтары бар күрделі кестелер

Markdown кестелері жазық болады. PDF ішінде біріктірілген ұяшықтары, көп деңгейлі тақырыптары немесе ішкі кестелері бар кесте болса, түрлендіргіш оны жазық кестеге айналдырады немесе байланыстарын жоғалтады.

Шешім: PDF-ті тікелей пайдаланыңыз, Docling қолданыңыз (ол күрделі кестелерді жақсы өңдейді) немесе түрлендіргеннен кейін кестені қолмен пішімдеңіз.

3. Бет нөмірлеріне сілтеме жасау қажет құжаттар

Заң құжаттары, келісімшарттар және хаттамалар үшін «7-бет, 3-абзац» деп көрсету маңызды болуы мүмкін. Markdown-да бет нөмірлері жоғалады.

Шешім: PDF + Files API + сұрауларды кэштеу. Файлды бір рет жүктеп, оған file_id арқылы сілтеме жасаңыз; Claude бет нөмірлерін көріп, нақты беттерді көрсете алады.

Қысқа құжаттар

PDF 2 беттен аз болса және оны бір рет қолдансаңыз, түрлендірудің қажеті жоқ. PDF-ке 5,000 токен, Markdown-ға 800 токен жұмсалады — бұл MarkItDown орнатуға тұрарлықтай үнем емес.

Тиімділік шегі шамамен 5+ бет немесе бір құжатты 2+ рет қолдану. Бұдан аз болса, PDF-ті тікелей жүктеңіз; асса, түрлендіріңіз.

Claude жүйесінде адамдар PDF-пен жұмыс істегенде жиі жіберетін 5 қате қандай?#

1. Бір PDF файлын әр жаңа чатқа жүктеу

Claude Pro-да 5 сағат ішіндегі хабарламалар санына лимит бар — 50 беттік бір есеп екінші сұрақ қоймай тұрып лимитті түгел тауысып жіберуі мүмкін.

Мұнда қарапайым қағида бар: бір тапсырма — бір чат. Жасанды интеллект қисынсыз көп токен тұтынса, әдетте бәрін бір чатқа тықпалап, PDF файлын қайта-қайта қосып жатқаныңыздан болады. Әр терезеде бір шағын тапсырма ұстаңыз. Құжатты Markdown-ға бір рет түрлендіріп, жобаңызбен бірге әр жаңа терезеге .md файлын қосыңыз. Контекст терезесінің шеңбері сары түске боялмайды.

Шешім: бір рет Markdown форматына түрлендіріңіз немесе file_id және сұрауларды кэштеу мүмкіндіктері бар Files API қолданыңыз.

2. Мәтін орнына скриншот пайдалану

Әдеттегі мысал: біреу Claude-қа код үзіндісін немесе кестені көрсеткісі келіп, 1920×1080 экранның скриншотын түсіреді де, 5 сұраудан кейін лимиттің неге таусылғанына таң қалады.

Өлшемі 1000×1000 пиксель скриншот шамамен 1,300 токен жұмсайды. Сол мәтінді қолмен көшірсеңіз, 50–100 токен кетеді. Айырмасы 13–26 есе.

Шешім: скриншоттарды тек маңызды бөлігін қалдырып, тығыз қиыңыз немесе одан да жақсысы, мәтінді тікелей көшіріңіз.

3. OCR-сіз сканерленген PDF

MarkItDown OCR жасай алмайды. Сканерленген файлды түрлендірсеңіз, нәтижесінде бос .md файлы (немесе 3 жол шимай) шығады.

Шешім: сканерленген құжаттарға кірістірілген ақылды OCR-ы бар PyMuPDF4LLM немесе Docling қолданыңыз.

4. 100 бет лимитін елемеу

Anthropic құжаттамасында бір сұрауға 600 бет лимиті көрсетілген, бірақ іс жүзінде контексті 200K болатын модельдерде (Sonnet 4.x, Opus 4.x) лимит — 100 бет. 600 беттік лимит ескі модельдерге немесе арнайы деңгейлерге арналған.

Sonnet 4.6 моделіне 150 беттік есеп жүктесеңіз, қате аласыз немесе, одан да жаманы, Claude алғашқы 100 бетті ғана өңдеп, бүкіл құжатты оқығандай әрекет етеді.

Шешім: ұзын PDF файлдарын жүктемес бұрын бөліктерге бөліңіз. Немесе Markdown форматына түрлендіріңіз — бет лимиті жоқ, тек токен лимиті бар.

5. Қайталанатын сұрауларға кэш қолданбау

API арқылы бір құжатпен қайта-қайта жұмыс істесеңіз, оны cache_control: ephemeral параметрімен ораңыз. 5 минут ішінде қайталанған сұраулар бастапқы бағаның 10%-ын құрайды. Бір сұрау қымбатырақ, қалғандарына 90% жеңілдік беріледі.

Шешім: бір реттен артық жүктейтін кез келген материал үшін сұрауларды кэштеуді әдепкіде қосыңыз.

Әрі қарай: контекст инженериясы#

PDF файлын Markdown-ға түрлендіру — токен үнемдеудің бір жолы. Бірақ мұның өзі Claude жауаптарының дәлдігін арттырмайды. Дәлдік сұрақ қоймас бұрын модель контексіне не қосатыныңызды зерттейтін контекст инженериясынан туындайды.

Егер CLAUDE.md файлыңызда 800 жол, жобаңызда қажетсіз 10 MCP сервері, ал сұрауыңызда 100 беттік PDF болса, Markdown-ға түрлендіру бір шығынды болдырмайды, бірақ қалған үшеуі сақталады. Сондықтан мына нұсқаулықтарды ұсынамыз:

• Claude Code жүйесінде токендер қайда жұмсалады - PDF-пен шектелмейтін, контексттің 9 түрлі ысырап болу үлгісі.
• Контекст инженериясы: 2026 - контекстті жүйелі басқару.
• Claude Code жүйесіндегі Plan Mode - Claude код жаза бастағанға дейінгі жоспарлау режимі.