我们提供安全,免费的手游软件下载!

安卓手机游戏下载_安卓手机软件下载_安卓手机应用免费下载-先锋下载

当前位置: 主页 > 软件教程 > 软件教程

webdav协议及我的笔记方案(私有部署)

来源:网络 更新时间:2024-07-02 04:31:12

背景

用markdown用于文章写作,有几年时间了,不是很喜欢折腾,主要就是在电脑上写,用的笔记软件就是typora。由于里面有很多工作相关的,以及个人资料相关的(包含了各种账号、密码啥的),所以不敢往各种云服务上放,还是想着数据由自己来管着。

自己管数据的话,就是数据存储到哪里的问题,有很多朋友是折腾nas(Network Attached Storage:网络附属存储),相当于是搞一个家用的服务器,一般24小时开机,对外提供各种协议的服务(如webdav、ftp、sftp、http等),随时可以往这个服务器上上传东西,或者是下载东西。理论上来说,任意的硬件,只要能刷上一个操作系统,部署上各种服务,就是一台nas;但目前这个东西,已经发展成了一个专业的设备,比如你如果拿一个废旧电脑来做nas,那电脑芯片一般是基于x86架构的,比较耗电,放在家里24小时开机就有点不划算,所以很多nas都是arm架构,当然,为了追求性能,也有x86架构的,也更贵就是了。

我个人还没买过nas设备(qiong啊),所以把数据存到nas但我手里有一台云服务器,就是普通的1核2G那种,拿来存储自己的数据也是足够的,因此,我一直以来的方案是,在云服务器上自建了git服务,本地的笔记就用git来管理,新增或修改后就push到云服务器上,做个备份。

这种的好处在于,虽然文件存放在云服务器上,但是是由git管理的,如果黑客攻进去了,也不一定能发现我的原始文件。

我之前也想过在手机上看这些笔记(主要是看,不在手机上写),但我发现,由于我的破iphone 11一直没升级(系统是ios 13.5,为啥不升呢,升了怕卡),可以选择的app相当有限,其实就是想找个git客户端就行,但支持连接自建git的,并支持渲染markdown格式的笔记的,且能在ios13.5上跑的,之前找过一次,还真是没找到。

最近研究了下这块,我发现,之前思想确实太局限了,为啥一定要用git协议做同步呢,http、ftp、sftp、smb等,哪个不能用?

说下这两天研究的webdav方案吧。

webdav协议

官网: http://www.webdav.org/

官方简介:WebDAV stands for "Web-based Distributed Authoring and Versioning". It is a set of extensions to the HTTP protocol which allows users to collaboratively edit and manage files on remote web servers.

WebDAV扩展了HTTP协议,允许用户协作,对远程web服务器上的文件进行编辑和管理。

大家可能会想到restful,毕竟restful就是用各种HTTP Method来标识接口的意图(如对资源的增删改查,用GET/PUT/POST/DELETE这几个Method来标识),WebDAV和它有点类似,但更偏向于文件协作,因为WebDAV中扩展了很多HTTP METHOD,如下:

  • COPY, copy a resource

  • MOVE, move a resource

  • MKCOL, create a collection, for example, a folder

  • PROPFIND, retrieve properties stored as XML

  • PROPPATCH, change and/or remove properties

  • LOCK, put a lock on a resource

  • UNLOCK, remove a lock from a resource

可以看到,包含了一些指令,如果要拷贝一个资源,不需要下载下来,再上传,只需要使用COPY即可;另外,还有LOCK和UNLOCK,可以用于锁定资源,避免多人修改同一个文件时出现冲突(这几年慢慢出现了腾讯文档这样的多人协作的在线文档,和这里的理念类似)。

我本地有两个webdav客户端,下面先展示一个通过nextcloud( https://docs.nextcloud.com/desktop/3.13/installing.html ),在本地新建文件:test-0701.txt时的网络报文:

以下 是响应:

我本地用的raidrive windows客户端,准备演示下lock功能,发现没找到。查了文档,只有专业版才支持

https://docs.raidrive.com/options/filelock/

所以,这边就看看官方文档的示例吧:

http://www.webdav.org/specs/rfc4918.html#n-example---simple-lock-request

针对锁定,文档中还规定了锁的模式,排他锁或者是共享锁,可以看上图,就是排他锁。

http://www.webdav.org/specs/rfc4918.html#exclusive-lock

各种传输协议的简单理解

简单查了一下,nas对外支持的协议,一般有这么几种:

  • NFS(Network File System),客户端一般是unix/linux系统;当然,我也搜了下“nfs client windows”,发现win7就有NFS client, https://learn.microsoft.com/en-us/windows-server/storage/nfs/nfs-overview

  • AFP(Apple Filing Protocol),客户端一般是Mac系统

  • CIFS/SMB(Server Message Block),SMB 最早是微软为自己需求设计的专用协议,用来实现微软主机之间的文件共享与打印共享,并不支持在 Linux 上运行,也就是说windows系统作为smb协议,只能访问另一台windows;后来,被技术大佬Andrew Tridgwell进行逆向,开发了samba,包含服务端(samba)和客户端(smbclient ),可以在linux/unix上运行,这样的话,windows、linux/unix主机之间就可以自由地通过smb协议进行网络交互了;

    该协议的主要client应该还是windows主机,因为nas支持了NFS,在linux上完全可以用走NFS协议;

    https://www.samba.org/samba/docs/current/man-html/smbclient.1.html

  • FTP(File Transfer Protocol)/SFTP(Secure File Transfer Protocol),这两个就不多说了,后者是基于SSH对文件传输进行安全增强;

  • WebDAV,基于HTTP或HTTPS,可以充分利用目前互联网上的各种web基础设施,也不容易被防火墙拦截

  • http/https,这个就不提了,最基础的。

在上述几种协议中,FTP系列、WebDAV、http/https,应该是拥有最广泛的客户端实现,因此,如果是要通过app访问nas的话,选择这几种流行的协议进行传输,可以有最广泛的选择度。

在FTP和WebDAV之间进行选择,其实就是对FTP和http进行选择,基本上,http是优势明显,可以参考如下链接:

https://stackoverflow.com/questions/11216884/which-file-access-is-the-best-webdav-or-ftp

我这里也看了下,我ios中一个app,作为一款客户端支持的各种协议:

webdav服务端

这个就多了去了,各种商业产品,各种开源产品,商业产品就不说了,我说说我目前知道的开源产品。

我目前在自己云服务器上,搭建了一套NextCloud服务端,它可以私有化部署,就像我这样。

官网: https://nextcloud.com/install/#instructions-server

Nextcloud这种算是网盘类软件,我对网盘类软件的理解是,我在本地的文件是什么样,你在网盘的UI上呈现出来也是什么样,通过另一个client拉取下来的文件,还是和我之前的文件一样的,文件名、文件格式等不要给我改了,说白了就是文件存储、对象存储。

同类的软件,我知道的还有:Owncloud (其实和NextCloud是同一作者)、Seafile、filerun

https://www.reddit.com/r/selfhosted/comments/rwo7qo/nextcloud_vs_owncloud_vs_seafile/

还有一种软件,比如Joplin,是一款笔记软件,支持多端(pc、ios、安卓),多端间用webdav同步,我以为这款很适合我。结果,joplin不能识别我用typora写的markdown笔记(joplin windows端可以导入markdown笔记,但导入后,已经是由joplin管理的另一个新的文件了,我再去typora修改原始文件,在joplin中也不会有任何变化。joplin也支持设置使用typora来编辑,但主要还是不喜欢它用自己的格式来管理我的文件)。

所以,后面我发现,这种网盘同步类软件更适合我,不会改我的原始文件,它只需要负责多端间同步就行。

另外,我们程序员广为使用的apache、nginx都是支持webdav的,像nginx的话,默认没有开启那个模块,需要单独弄一下。

webdav-服务端-nextcloud

一开始是按照官方文档来弄,选的是docker镜像all-in-one的镜像,结果后面遇到个什么错,没搞起来,以后再试试。

https://github.com/nextcloud/all-in-one#how-to-use-this

后面网上找了另一种方案,这里记录下,要先把docker安装上(包括docker-compose):

mkdir -p /path/to/nextcloud;

新建文件,docker-compose.yml:

内容如下,注意自己改下密码,ip啥的:

version: '3'

services:
  app:
    image: nextcloud
    restart: always
    networks:
      nextcloud_network:     
    ports:
      - "8080:80"
    volumes:
      - /path/to/nextcloud/data:/var/www/html
      - /path/to/nextcloud/config:/var/www/html/config
    environment:
      - NEXTCLOUD_ADMIN_USER=admin  --用户名可以改下
      - NEXTCLOUD_ADMIN_PASSWORD=1qaz@WSX#EDC --自己改一下密码
      - NEXTCLOUD_TRUSTED_DOMAINS=外网ip:8080
      - MYSQL_HOST=db
      - MYSQL_PASSWORD=db_password
      - MYSQL_DATABASE=nextcloud
      - MYSQL_USER=db_user
      - OVERWRITEPROTOCOL=http
      - LANG=zh_CN.UTF-8
    depends_on:
      - db

  db:
    image: mariadb
    restart: always
    networks:
      nextcloud_network:
    environment:
      - MYSQL_ROOT_PASSWORD=db_root_password
      - MYSQL_DATABASE=nextcloud
      - MYSQL_USER=db_user
      - MYSQL_PASSWORD=db_password
    volumes:
      - /path/to/mysql/data:/var/lib/mysql

networks:
  nextcloud_network:

然后就可以启动了:

docker-compose up -d

启动后,大概是这样两个容器:

启动完成后,在浏览器中,http://ip:8080端口访问即可,剩下都是图形化操作,还比较简单了。

访问时,可能会报一个trusted_domain的问题,我是修改了config.php:

[root@VM-0-6-centos config]# pwd
/path/to/nextcloud/config

修改config.php:
  'trusted_domains' =>
  array (
    0 => 'localhost',
    1 => '1.1.1.1:8080',
  ),

另外,目前这个是http的,不是很安全,所以大家可以先尽量选择可信的webdav客户端,比如nextcloud在多端都有应用,https的我也还没研究,后续再看下这块,暂时没时间了。

webdav-服务端-nginx

这里只简单说一下。

需要重新编译nginx源码,加入webdav和webdav扩展模块。

扩展模块的源码从这里下载:

https://github.com/arut/nginx-dav-ext-module/releases

比我这里使用的,最后的编译命令为:

--sbin-path=/usr/local/nginx/nginx --conf-path=/usr/local/nginx/nginx.conf --pid-path=/usr/local/nginx/nginx.pid --with-http_ssl_module --with-http_dav_module --add-module=/root/upload/nginx-1.21.3/nginx-dav-ext-module-3.0.0

就是新增了:

--with-http_dav_module --add-module=/root/upload/nginx-1.21.3/nginx-dav-ext-module-3.0.0

编译完成后,拷贝覆盖已有的nginx二进制文件。

我这边的nginx二进制在/usr/local/nginx/nginx,覆盖前需要先备份

cp objs/nginx /usr/local/nginx/nginx -f

然后贴一份我的配置文件,仅供参考:

 server {
        listen       80;
        server_name  localhost;


        access_log  logs/80access.log  main;

        
        location /work-file {
            root                  /root/;
			
            client_body_temp_path /var/client_temp;
            client_max_body_size 50m;
			
            auth_basic "webdav";
            auth_basic_user_file /root/upload/nginx-1.21.3/passwd.txt;
			
			autoindex on;
			
            dav_methods PUT DELETE MKCOL COPY MOVE;
            dav_ext_methods PROPFIND OPTIONS LOCK UNLOCK;

            create_full_put_path  on;
            dav_access            group:rw  all:r;
       }
    }

密码文件的生成有多种方式,我也是网上查了下:

[root@VM-0-6-centos nextcloud]# openssl passwd '1111111'
CjBujI/Rj1tcI

passwd.txt(用户名:密码):
webdav:CjBujI/Rj1tcI

webdav-pc 客户端

我这边使用的有nextcloud windows客户端、raidrive。raidrive感觉非常强大,支持的云端存储,基本上全包含了。

webdav-ios客户端

我由于操作系统版本是13.5的,可选范围有限,所以只是简单分享下。

可以直接在app store搜搜webdav关键字,如果某款软件支持这个协议,不至于不在描述中提一下吧。

具体的app就不说了,有广告嫌疑,我发现个问题,很多webdav 客户端app,可以支持远程连接webdav,但是不会把webdav服务端的数据拉到本地来保存,而是在线的那种,和web系统一样,点开某个目录,才会加载那个目录下文件,点开某个文件,才会去加载内容;所以也就不支持在全部文件中进行关键字搜搜,笔记多的话,还是不好找。

所以,我个人后续应该还是会安装Nextcloud这种云盘类的app(目前操作系统版本原因,装不了),但我想,至少会把数据全部同步到本地,数据同步到本地,才会有可能支持全文检索。

总结

等后续换了手机,我就打算整nextcloud全家桶先试试,想要的功能就是app上能跨文件全文搜索,就满足了。

目前手机上安装的app,都是不能全文搜索的;而我也找到了一款某个大佬写的一个app(支持从自建的git拉取markdown进行展示),但是大佬没做本地的全文搜索。

所以目前两个方案,在我手机端的效果差不多,甚至git方案的话,还能离线使用,还要优于webdav方案。

另外,nextcloud的服务端,有点耗内存,这样的话,云服务器都不能干别的事了,所以目前就用我的git方案算了,还完全没有内存消耗。

但是通过这么折腾,至少对于nas这套东西,了解了不少,以后想折腾的时候再弄吧。