Files
zapret-autotune/PROGRESS.md
T
2026-10-10 08:20:08 +03:00

12 KiB
Raw Blame History

Прогресс реализации

Срез на 2026-10-10. Этот файл описывает фактическое состояние кода, а не весь объём требований из Requirements.md и Architecture.md.

Готово

  • Добавлена foundation schema v4: durable policy state по stable service ID, last probe/streak, recovery lock и cooldown. Операции с injected time атомарно записывают probe и захватывают recovery только при threshold/истёкшем cooldown/свободном lock; завершение требует точный ownership token и запускает cooldown от completion time. Stale/duplicate finish не меняет новую lease; crash сохраняет lock fail-closed (reconciliation пока не реализован). Unit-тесты streak/reset, threshold, competing acquisition, reload/cooldown и v3 migration прошли.

  • Добавлен одноразовый health youtube: bounded Player API-запрос только через loopback SOCKS (ZAPRET_AUTOTUNE_SOCKS_PROXY, default socks5://127.0.0.1:11080), без ambient proxy/direct fallback. Health требует playabilityStatus.status=OK, не streaming URL и не playback. Config валидирует video ID (default dQw4w9WgXcQ), interval 5m, failure threshold 3, cooldown 30m. go test ./..., go build и git diff --check прошли для обоих последних increments.

  • Добавлена тестируемая transaction foundation для target-owned config: только квалифицированные stored candidates, separate frontend/exact-GGC profiles, versioned durable journal/backup, atomic replace, injected daemon reload + Player API post-check, rollback и crash reconciliation; external config drift fail-closed. Renderer не сохраняет wildcard GGC scope. CLI пока не вызывает apply, target config/runtime ещё не проверены. go build и повторный go test ./... прошли; первый test run поймал прежний flaky TestRunBlockcheckCancellation/kill process-state race.

  • Завершён удалённый ручной GGC scan для rr16---sn-n8v7znsz.googlevideo.com: TLS 1.2 — 1 525 рабочих стратегий, TLS 1.3 — 800. Shortlist check нашёл 20 проходящих вариантов; точная объединённая стратегия --lua-init=fake_default_tls=tls_mod(fake_default_tls,'rnd') --payload=tls_client_hello --lua-desync=multidisorder:pos=2,midsld:seqovl=1:seqovl_pattern=fake_default_tls --in-range=-s1 --lua-desync=oob:urp=midsld прошла по 3/3 для TLS 1.2 и TLS 1.3. Результат относится только к указанному hostname; не означает playback/SABR и не применялся.

  • Добавлена proposal-only команда recover googlevideo --video-id ID --proxy socks5://HOST:PORT: discovery одного свежего exact host → qualified schema-v3 сценарии newest-first → combined TLS1.2/1.3 3/3 точных сохранённых args. Первый успешный сценарий сохраняется новым immutable candidate/run и выдаётся как NOT ACTIVE без scan. Только отсутствие eligible candidates или валидные non-pass результаты разрешают обычный scan на уже найденном host; infrastructure/malformed-report ошибки fail closed. Apply/monitor и удалённый scan не затронуты.

  • Unit-тесты recovery порядка, fresh-host scope, short-circuit, fallback и fail-closed ошибок прошли; локальные go test ./..., go build и git diff --check успешны.

  • CLI на Go: tune youtube, tune googlevideo --video-id ID --proxy socks5://HOST:PORT, recover googlevideo --video-id ID --proxy socks5://HOST:PORT, discover youtube, health youtube, status, history, strategies youtube, render. check youtube пока намеренно отказывает; apply, rollback и мониторинг не реализованы.

  • Proposal-only GGC pipeline: Android 21.02.35 discovery через явный proxy → scan TLS1.2/1.3 только одного найденного hostname → data-transfer shortlist (--take 10 --passes 3) → проверка точной комбинации 3/3 на обоих TLS → один инертный профиль с exact-host фильтром. Ранжирование по blockcheckw, не Selectel. SQLite v3 атомарно сохраняет googlevideo candidate и оба endpoint×TLS evidence; отдельный additive journal сохраняет failed runs. history и strategies youtube показывают точный endpoint/group; status пока относится только к frontend journal.

  • Добавлены injectable unit-тесты GGC success/order/scope/filter/persistence, обязательных флагов, discovery failure, неполной/неуспешной combined проверки и fail-closed DB. После исправления exact-host фильтра go test ./..., go build и git diff --check прошли локально. Полный новый tune googlevideo ещё не прогонялся удалённо.

  • tune youtube сканирует frontend youtube.com, проверяет shortlist через blockcheckw и выдаёт один TLS-профиль только после совместной проверки TLS 1.2 и 1.3 по 3/3. Это предложение конфигурации, оно ничего не применяет.

  • SQLite без CGO: миграции до схемы v3, атомарное сохранение успешных/неуспешных tune-запусков, SHA-256 fingerprint нормализованных аргументов, status, read-only history и список предложенных стратегий. v3 добавляет неизменяемые определения кандидатов и evidence по endpoint/protocol без active-состояния; старые предложения не переносятся в кандидаты. База и каталоги создаются с ограниченными правами.

  • discover youtube --video-id ID --proxy socks5://HOST:PORT делает запрос к YouTube Android Player API, валидирует serverAbrStreamingUrl и выдаёт только hostname из googlevideo.com; подписанный URL не выводится.

  • Проверки кода после последних изменений: локальные go test ./... и go build прошли. Docker build проходил после добавления SQLite-зависимости и исправления .dockerignore.

Проверено удалённо

  • Read-only инвентаризация Docker-хоста: Docker 29.8.2, kernel 6.8.0-146-generic; используемый zapret2 image vernette/ss-zapret2:v1.0.2 доступен по digest sha256:ba158180f27cd71a291ee521c291490374fd3fcf2f81eb1434ddfb19d35de45b. Текущий target остаётся отдельным и нетронутым. Новую сеть/контейнер ещё не создавали.
  • В этом image digest доступен /usr/bin/blockcheckw версии 0.9.0; это позволяет отдельно проверять его наличие/версию для нового target image, но пока не доказывает route equivalence или безопасную совместную работу scan с активным proxy.
  • Ранее frontend-комбинация прошла blockcheckw check на youtube.com: TLS 1.2 — 3/3, TLS 1.3 — 3/3. Ручная проверка YouTube oEmbed через SOCKS также прошла.
  • Player API-запрос через SOCKS localhost:1080 вернул playabilityStatus=OK и динамический googlevideo.com hostname.
  • На одном найденном GGC hostname текущая статическая стратегия fakeddisorder:pos=midsld:tcp_flags_set=SYN прошла data-transfer check 3/3 для TLS 1.2 и TLS 1.3. Frontend-комбинация на этом GGC hostname не прошла; frontend и GGC требуют отдельных профилей.
  • Отдельный Selectel speedtest с SNI googlevideo был проверен экспериментально, но не используется для ранжирования: принято решение доверять TLS/data-transfer результатам blockcheckw.

Выполняется сейчас

  • Scan и shortlist check завершены, контейнер zapret-autotune-googlevideo-scan остановился с кодом 0. Проверка exact combined args прошла; tune googlevideo не запускался end-to-end и результаты вручную в SQLite не импортировались.
  • Новый отдельный tune googlevideo proposal-only и не меняет frontend-only tune youtube; удалённый end-to-end запуск команды ещё не выполнен.

Не готово

  • Проверка реального YouTube video-transfer/SABR. Прямой GET serverAbrStreamingUrl возвращает sabr.malformed_config; hostname discovery и blockcheckw data-transfer checks не равны проверке воспроизведения видео.
  • Применение пока не подключено к CLI/контейнеру: disk transaction core есть, но нет proven zapret2 config/render/reload adapter, active profile integration, supervisor/recovery loop и реально запущенного managed target. Одноразовый Player API health и persisted policy пока не запускают automation. Цель: новый отдельный prod-like zapret2-ss контейнер только в тестовой среде; существующий контейнер не трогать. Стабильный настраиваемый loopback SOCKS для Xray; Xray config вне scope. Перед runtime пройти route/rollback gates.
  • Полный сервис из требований: YAML-конфигурация сервисов, endpoint-история/покрытие, daemon/периодический мониторинг, API/метрики и multi-service режим.

Открытые ограничения и следующие шаги

  1. Проверить новый tune googlevideo и recover googlevideo end-to-end на удалённом сервере; отдельно решить, как импортировать или переиспользовать уже полученные scan результаты без повторного перебора.
  2. Подготовить воспроизводимое описание отдельного prod-like target с закреплённым image digest, собственной bridge-сетью, независимой конфигурацией/секретами и только loopback-портами. До запуска проверить формат baseline-конфига и правила NFQUEUE внутри container network namespace; текущие mounts, сеть, порты и конфиг не переиспользовать.
  3. Подключить transaction core к target-specific CLI/agent; подтвердить shell config rendering, daemon-only reload и pre/post health на новом изолированном target.
  4. Подключить persistent monitor policy к supervisor, recovery через сохранённые сценарии перед новым scan и crash reconciliation.
  5. До autonomous mode доказать safety gates из Architecture.md: изоляцию target, эквивалентность managed SOCKS пути, версионирование, atomic activation/rollback и crash recovery.
  6. Отдельно определить реальную video/SABR-проверку и traffic budget; API health не равен playback и не обнаруживает все GGC playback failures.