
Orange pi 4 pro 4G: https://ali.click/ow1lr19?erid=2SDnjdg5XQG
Orange pi 4 pro не так давно вышла, у неё процессор Alwinner A733. Он мощный и самое главное у него вычислительная мощность NPU целых 3 Tops.
И когда я узнал про эти 3 Tops из технической документации, у меня сразу появилось желание запустить Frigate на распознавание объектов на этом NPU. Ведь у Google coral, который используют в Frigate для этой цели 4 Tops вычислительная мощность. А ближайший одноплатник, который на npu определением объектов занимается — это Orange pi 5 на RK3588 с 6 Tops вычислительной мощности.
Но Allwinner — это закрытые процессоры. И хоть NPU имелось на процессоре, как с ним работать не было документации. И долгое время даже armbian не появлялся под этот одноплатник.
Пришло эпоха ИИ и многие вещи с помощью ИИ стали появляться гораздо быстрее, чем до этого это делали люди. Так и произошло с драйвером NPU под Alwinner A733. Один человек с помощью ИИ сделал и образ Armbian и драйвер под NPU и перевёл на него Frigate.
Сам проект можно найти тут: https://ota.7geo7.ru/a733/
Что умеет A733 и зачем два ускорителя
В Frigate два разных потребителя ресурсов:
Детектор объектов (YOLO) — нейросеть, её ускоряет NPU (Vivante VIP9000, ~3 TOPS). В Frigate 0.18 для этого есть плагин vivante и NBG-модели, скомпилированные под этот чип.
Декодирование видеопотока (RTSP H.264/H.265) — это не нейросеть, а видеокодек. Его ускоряет VPU (cedar/VE). По умолчанию ffmpeg в контейнере Frigate из проекта 7geo7 декодирует софтверно, и на 720p это ~25–30% ядра процессора на камеру. А в самом образе Armbian из проекта драйвер VPU установлен, но почему-то в контейнер Frigate не проброшен. Собственно мне пришлось сделать свои правки, чтоб в контейнер докинуть VPU и снизить нагрузку процессора.
Шаг 1. Установка по инструкции 7geo7
Устанавливаем Armbian из проекта https://ota.7geo7.ru/a733/ ссылка на него в самом низу.
Далее скачиваем архив с драйверами NPU и VPU:
wget https://ota.7geo7.ru/a733/a733-drivers-1.3.0.tar.gz
После этого разархивируем этот архив
tar -xzf a733-drivers-1.3.0.tar.gz && cd a733-drivers
Далее устанавливаем драйвер и Frigate который сразу будет работать на NPU еще и тестовое видео запустит:
sudo ./install.sh --frigate
Далее можно запустить тест, чтоб проверить поставился ли npu. У меня ругался только на Vulkan. его у меня нет.
sudo ./smoke-test.sh
Проверка, что NPU подключился:
docker logs frigate 2>&1 | grep "Vivante NPU ready"
curl -s http://127.0.0.1:5000/api/stats | python3 -m json.tool | grep -A5 '"detectors"'
В detectors должен быть vivante (не cpu) с инференсом ~40–46 мс. Это уже хорошо: детектор ушёл с ядер.
Но декодирование всё ещё на CPU — видно по процессу frigate.process (60–80% ядра) и ffmpeg с -c:v h264_cedar… которого там нет.
Шаг 2. VPU-декод внутри контейнера Frigate
В пакете уже лежит собранный ffmpeg с кодеками h264_cedar/hevc_cedar (после установки в /root/a733-drivers/ffmpeg-cedar/bin/ffmpeg). Проверка:
/root/a733-drivers/ffmpeg-cedar/bin/ffmpeg -codecs | grep cedar
Но просто примонтировать его в контейнер нельзя: Frigate 0.18 живёт на Debian 12 (glibc 2.36), а cedar-ffmpeg собран на хосте с glibc 2.41 — запуск внутри контейнера падает с undefined symbol: __tunable_is_initialized.
Решение — запускать cedar-ffmpeg через хостовый динамический загрузчик. Frigate ищет ffmpeg как <путь>/bin/ffmpeg, поэтому делаем директорию-обёртку:
Создаём папке:
mkdir -p /opt/frigate-a733/ffw/bin
Создаём файл с содержимым:
cat > /opt/frigate-a733/ffw/bin/ffmpeg <<'EOF'
#!/bin/sh
exec /thlib/ld-linux-aarch64.so.1 --library-path /thlib /cedar/ffmpeg "$@"
EOF
Даём права на файл.
chmod +x /opt/frigate-a733/ffw/bin/ffmpeg
В конфиг Frigate добавляем секцию ffmpeg — путь к обёртке и флаг аппаратного декодера до входного файла:
nano /opt/frigate-a733/config.yml
ffmpeg:
path: /usr/local/bin/ffw
input_args: >-
-hide_banner -loglevel warning -c:v h264_cedar
-fflags nobuffer+genpts+discardcorrupt -flags low_delay
-timeout 5000000 -user_agent frigate -rtsp_transport tcp
И пересоздаём контейнер, добавив к стандартнымmount’ам из install.sh примонтированные cedar-библиотеки и устройства VPU (выделены):
Удаляем старый Frigate:
docker rm -f frigate
Создаём новый с правками:
docker run -d --name frigate --restart unless-stopped \
--network host --privileged --shm-size=256m \
-v /opt/frigate-a733/config.yml:/config/config.yml \
-v /opt/frigate-a733/models:/config/models:ro \
-v /opt/frigate-a733/vivante.py:/opt/frigate/frigate/detectors/plugins/vivante.py:ro \
-v /usr/lib/libNBGlinker.so:/usr/lib/libNBGlinker.so:ro \
-v /usr/lib/libVIPhal.so:/usr/lib/libVIPhal.so:ro \
-v /opt/frigate-a733/media:/media/frigate \
-v /etc/localtime:/etc/localtime:ro \
-v /opt/frigate-a733/ffw:/usr/local/bin/ffw:ro \
-v /root/a733-drivers/ffmpeg-cedar/bin/ffmpeg:/cedar/ffmpeg:ro \
-v /lib/aarch64-linux-gnu:/thlib:ro \
-v /etc/cedarc.conf:/etc/cedarc.conf:ro \
--device /dev/vipcore --device /dev/cedar_dev --device /dev/cedar_dev_ve2 \
-v /dev/dma_heap:/dev/dma_heap \
ghcr.io/blakeblackshear/frigate:stable
Проверка, что декод пошёл через VPU — процесс ffmpeg у камер должен содержать -c:v h264_cedar и есть ~5% CPU вместо 25–30%:
docker exec frigate ps aux | grep h264_cedar | grep -v grep
Шаг 3. Три камеры для замера нагрузки
Тестовый поток один (mediamtx крутит ролик по кругу на rtsp://127.0.0.1:8555/cam), но в Frigate его можно подключить как несколько «камер» — нагрузка растёт как с настоящими. В config.yml после камеры test добавляем cam2 и cam3:
cameras:
test:
ffmpeg:
inputs:
- path: rtsp://127.0.0.1:8555/cam
roles: [detect]
detect: {enabled: true, width: 640, height: 640, fps: 5}
cam2:
ffmpeg:
inputs:
- path: rtsp://127.0.0.1:8555/cam
roles: [detect]
detect: {enabled: true, width: 640, height: 640, fps: 5}
cam3:
ffmpeg:
inputs:
- path: rtsp://127.0.0.1:8555/cam
roles: [detect]
detect: {enabled: true, width: 640, height: 640, fps: 5}
После docker restart frigate все три камеры должны показывать ~5 fps и детекции:
curl -s http://127.0.0.1:5000/api/stats | python3 -c "import json,sys; d=json.load(sys.stdin); [print(k, c.get('camera_fps')) for k,c in d.get('cameras',{}).items()]"
Замеры: CPU на одну и три камеры
Методика одинаковая на обоих образах: тестовый поток 720p, детект 5 fps, замер docker stats --no-stream без открытого live-просмотра.
Старый образ (Frigate 0.11, CPU-детектор + CPU-декод): 1 камера — 186% CPU, 3 камеры — 418%. Прирост ~116% на камеру, потолок — примерно 6 камер из 8 ядер.
Образ 7geo7 + мои правки (NPU vivante + VPU cedar): 1 камера — ~174% (из них декод всего 5%), 3 камеры — 208%. Прирост всего ~17% на камеру, детекций в два раза больше (23.6 против 12.1 fps).
| Метрика | 0.11 CPU · 1 камера | 0.11 CPU · 3 камеры | NPU+VPU · 1 камера | NPU+VPU · 3 камеры |
|---|---|---|---|---|
| CPU контейнера | 186% | 418% | ~174% | 208% |
| Прирост на камеру | — | +116% | — | +17% |
| Детекций в секунду | 4.1 | 12.1 | 15.5 | 23.6 |
| Инференс детектора | ~64 мс (cpu) | ~64 мс (cpu) | 41–46 мс (vivante) | 43 мс (vivante) |
| Декод ffmpeg на камеру | ~25–30% | ~25–30% | ~5% (h264_cedar) | ~5% (h264_cedar) |
| Практический потолок камер | ~6 | ~6 | 10+ | 10+ |
Важный нюанс, из-за которого на одной камере разница почти не видна: фиксированные расходы Frigate (motion-детекция, трекинг, превью для открытой вкладки) остаются на CPU всегда. Экономия от cedar проявляется именно при масштабировании камер.
Как проверить, что работает NPU, а не CPU
# 1. NPU: в детекторах должен быть vivante, не cpu
curl -s http://127.0.0.1:5000/api/stats | python3 -m json.tool | grep -A6 detectors
# 2. NPU: строка инициализации плагина
docker logs frigate 2>&1 | grep "Vivante NPU ready"
# 3. NPU: процессы-владельцы у драйвера ядра
sudo cat /sys/kernel/debug/viplite/vip_info
# 4. VPU: ffmpeg камер должен запускаться с -c:v h264_cedar
docker exec frigate ps aux | grep h264_cedar | grep -v grep
# 5. VPU: CPU этого ffmpeg при аппаратном декоде ~5%, не 25-30%
docker exec frigate ps aux | grep h264_cedar | grep -v grep | awk '{print $3}'
# 6. Устройства VPU видны контейнеру
docker exec frigate ls -la /dev/cedar_dev /dev/cedar_dev_ve2
Итог
Мы получили отличную плату для работы с камерами в Frigate, которая потянет на этом самом NPU около 10 камер. Для дома думаю такого количества выше крыши.