使用 Syncthing API 监听 NFS 目录同步并自动转换 Nikon RAW 文件

     在之前一篇 尼康Zf的Raw文件在immich以及MT Photos上的问题临时解决方案 中，我试着使用inotify来监控目录的变化，可惜忽略了目录是NFS挂载的，然后就没有成功监听到文件的变化。幸好syncthing有api可以使用，不过我理想中的方案是希望同步完成后推送通知，然后我执行获取jpg的脚本，可惜目前只能主动去调用api，监听目录的状态，于是修改了下脚本，其中需要额外安装jq，来解析json，API_KEY可以在操作-设置-常规下看到API密钥，目录ID的话在文件夹下可以看到文件夹ID，修改后的脚本如下：

#!/bin/bash


# 源目录和目标目录

SOURCE_DIR="/mnt/nfs_share/NikonRaw"

TARGET_BASE_DIR="/mnt/nfs_share/NikonJpg"


# 监听 URL 和配置

SYNC_URL="http://你的syncthing ip+端口/rest/events"

API_KEY="你的APIKEY"

SINCE_FILE="/root/syncthing_since.txt"

LOG_FILE="/root/listen_syncthing.log"

FOLDER_ID="你要监听的目录ID"


# 读取上次的 SINCE 值

if [ -f "$SINCE_FILE" ]; then

    SINCE=$(cat "$SINCE_FILE")

else

    SINCE=1055

fi


SYNCED_FILES=()


log() {

    echo "$(date '+%Y-%m-%d %H:%M:%S') $1" | tee -a "$LOG_FILE"

}


debug_log() {

    echo "[DEBUG] $(date '+%Y-%m-%d %H:%M:%S') $1" | tee -a "$LOG_FILE"

}


# 转换函数

convert_to_jpg() {

    local input_file=$1

    local relative_path="${input_file#$SOURCE_DIR/}"

    local target_dir="${TARGET_BASE_DIR}/$(dirname "$relative_path")"

    mkdir -p "$target_dir"

    local output_file="${target_dir}/$(basename "${input_file%.NEF}.jpg")"


    if [ -f "$output_file" ]; then

        log "文件已转换，跳过：$output_file"

        return

    fi


    if dcraw -e -c "$input_file" > "$output_file"; then

        log "转换成功：$input_file -> $output_file"

        exiftool -tagsFromFile "$input_file" -DateTimeOriginal -CreateDate -TimeZone -overwrite_original "$output_file"

        log "EXIF 数据更新成功：$output_file"

    else

        log "转换失败：$input_file"

    fi

}


# 监听同步事件

listen_sync_events() {

    while true; do

        log "监听同步事件 (since=$SINCE)..."

        response=$(curl -s -H "X-API-Key: $API_KEY" "$SYNC_URL?since=$SINCE")


        # 检查是否为空响应或格式错误

        event_count=$(echo "$response" | jq 'length' 2>/dev/null)

        if [[ -z "$event_count" || "$event_count" -eq 0 ]]; then

            debug_log "响应为空或非预期格式，跳过处理。"

            sleep 10

            continue

        fi


        debug_log "Raw response: $response"


        # 获取最新事件 ID

        new_since=$(echo "$response" | jq -r '.[-1].id')

        debug_log "Parsed new_since: $new_since"


        if [[ "$new_since" =~ ^[0-9]+$ ]] && [ "$new_since" -gt "$SINCE" ]; then

            echo "$new_since" > "$SINCE_FILE"

            SINCE=$new_since

            log "更新 since 为: $SINCE"

        else

            debug_log "new_since 无效或未更新: $new_since"

        fi


        # 处理事件

        events=$(echo "$response" | jq -c ".[] | select(.data.folder == \"$FOLDER_ID\")")

        debug_log "Filtered events: $events"


        for event in $events; do

            event_type=$(echo "$event" | jq -r '.type')


            if [[ "$event_type" == "LocalIndexUpdated" ]]; then

                filenames=$(echo "$event" | jq -r '.data.filenames[]')

                for file in $filenames; do

                    full_path="$SOURCE_DIR/$file"

                    if [[ -f "$full_path" ]]; then

                        SYNCED_FILES+=("$full_path")

                        log "文件索引更新完成，加入转换队列: $full_path"

                    fi

                done

            fi

        done


        # 执行转换任务

        if [ ${#SYNCED_FILES[@]} -gt 0 ]; then

            for file in "${SYNCED_FILES[@]}"; do

                convert_to_jpg "$file"

            done

            SYNCED_FILES=()

            log "所有任务已完成，等待新的同步事件..."

            sleep 5

        else

            log "没有新文件需要处理，延长等待时间..."

            sleep 10

        fi

    done

}


listen_sync_events

评论

发表评论

此博客中的热门博文

飞牛私有云OS相册、MT Photos、immich简单对比

图片
    PS：MT Photos在V1.35.0的时候已经解决了下图中图片异常的问题。      组装这台NAS最大的动力就是备份相册了，目前是备份在百度云，但是预览效果比较差。NAS安装完后，首先尝试了自带的相册，在桌面直接启用，然后上传图片测试，可惜直接预览失败，不支持尼康zf NEF格式的图片，看不到相册版本号，系统版本号为0.8.29，后面其他功能就不测试了。      第二个安装的是 MT Photos，版本号： V1.34.3，和immich相比安装过程丝滑，官网也有对应的文档，可惜发现个问题，个别预览图全是条纹，反馈给了官方，下一版本应该会改掉。      另外电脑端预览界面放大缩小有点迟滞，预览信息界面文字颜色多了有点影响观感      手机端点开图片如果带宽小会有短暂的黑屏等待界面。 图片搜索还是挺不错的，安装和使用都比较方便      头像识别显示正常      最后安装的是 immich，版本号： v1.124.0 ，安装完后简单测试也出现了图片条纹的情况      然后在设置里偶然看到这个嵌入式预览的选项，启用后图片就没问题了。      头像都是条纹，这个貌似没有地方可以设置，重置人脸识别、手动选择头像还是一样 搜索效果一般，速度比MT Photos慢很多，用的模型是XLM-Roberta-Large-Vit-B-16Plus      immich的手机端点开默认是缩略图，然后会加载高清图，感觉比MT Photos体验好点。     总结，感觉有点尴尬，都有点问题影响使用，目前还是观望immich和MT Photos，然后看看是否有其他方法可解 。
阅读全文

飞牛私有云OS使用AList挂载天翼云盘

图片
      目前飞牛的备份网盘只有百度和阿里，但是它还支持WebDAV，于是开始部署AList，它支持的网盘比较多，本文以天翼云盘为例。     安装完后打开AList网页，点击下面的管理，然后选择存储-添加，驱动选择天翼云盘客户端，挂载路径可以自己填，比如/189cloud； WebDAV 策略选择本地代理，用户名是手机号；验证码是一串Cookie，见图4（需要使用有调试功能的浏览器，比如Chrome），在网页顶部右键检查或者按F12打开调试，刷新，找到-11那栏，然后在右边找到cookie那行，复制右边的内容到验证码字段内,类型的话个人和家庭都行，可以挂载两个，其他内容不变。 图1 图2 图3 图4     然后就能在主页看到天翼云盘的目录了，到这步没问题之后，打开在文件夹里远程挂载以及备份中添加，两个地方要操作两次，不知道飞牛为什么没有简化。以文件夹为例，打开文件管理-远程挂载-挂载远程文件夹，填写ip、端口、用户名、密码、指定路径（注意不是之前填写的/189cloud，是从/dav路径开始）、挂载名，确认之后就能访问了。备份中添加来源或者目的地也是填写这些信息，之后就能在来源或者目的地中选择对应的天翼网盘。 图5 图6 参考 https://post.smzdm.com/p/ag56l623/
阅读全文

飞牛私有云OS相册、MT Photos、immich简单对比（二）

图片
     PS：由于Blogger插入的视频莫名会失效，就删除了视频。      最近飞牛更新了相册，添加了AI功能，另外 我这边也放弃直接了使用raw，于是就开始二次对比几个相册。这次从外观、网络、功能方面主观对比下，图片从pexels下载用于测试，飞牛版本：V0.8.28；MT Photos版本：V1.35.0；immich版本：v1.124.2。     1. 外观，整体外观差不太多，MT Photos的图标不怎么好看，不过安卓手机端可以替换图片，可以解决。     2. 网络，我没有使用飞牛自带的穿透服务，飞牛的相册可以使用花生壳飞牛会员版，所以下面只会对比花生壳和国内某云搭建的穿透服务。网页端网络比较垃圾电信下行100M，上行估计20M，花生壳这边是 15Mbps版本，过程中上传多次，取的最好成绩，图片大小10M，整体相差不大。 飞牛 + 花生壳 飞牛 + 某云 MT Photos + 某云 immich + 某云           手机端无法直观展示耗时，就在  https://www.eso.org/上 下载了一张大图用于展示速度，手机网络是联通4g，某云带宽大，所以速度有优势，由于MT Photos不显示速度就不展示了。这里只展示速度，为了测试简便，所以后面就取消备份或者上传了。总体看某云还是有优势的。 immich + 某云 飞牛 + 某云 飞牛 + 花生壳      3. 功能，这方面各有优缺点。      3.1 图片时间这部分是偶然发现的，猜测飞牛是取的拍摄时间，其他两个取的后期处理时间。我基本不后期，影响不大。三者都可以修改时间。    MT Photos immich 飞牛     3.2 外链分享，飞牛目前只有文件管理内部可以分享，相册内部没有，可以设置访问次数、到期时间、密码，app内的分享会先下载然后调用系统的共享，还有个共享给设备内用户；immich安卓端点开图片的共享也是先下载再共享，在列表页长按选中后的共享可以生成链接，所以可以同时分享多张，可以设置描述、密码、...
阅读全文