vertica不支持xfs文件系统 文件系统问题 这是个老问题，现在的高版本vertica已经对文件系统的要求很低了，基本上都支持。所以这里只是记录一下历史 安装系统默认分区，使用的xfs文件系统，vertica在安装的时候只是给出了警告，把安装级别设置为FAIL仍然可以安装成功，但是在创建数据库页面遇到了错误，提示不支持的文件系统类型 需要使用命令行参数来创建数据库，使用 admintools -t create_db -D /home/dbadmin -c /home/dbadmin -d vetc -p dbadmin -s 192.168.3.250 --skip-fs-checks 最后一个参数用来忽略文件系统的检测

nginx缓存 请求头说明 proxy_hide_header ensures the header will not be passed back to the client, proxy_ignore_headers ensures that the header will not automatically disable caching within nginx 其他问题 如果没有设置 proxy_cache_valid 字段，则不会缓存，请求被缓存策略拦截成功，但是一直miss proxy_cache_bypass可以根据uri或者其他策略对一些请求不缓存 一个server下有多个不同location proxy_pass到不同后端web server，怎么对这个server下所有环境都做缓存，如果server内共享一个缓存location，那么缓存未找到时候proxy_pass需要配置什么地址去回源资源，有以下解决方案： a. 对每个不同的location都做一个缓存配置。如果环境数量少是可以这样配置的 b. 共用一个location缓存配置，再proxy_pass前面增加一段lua脚本，当执行到这里的时候，根据客户端请求的主机名去查到对应的真实web server，并且赋值给变量，所以proxy_pass只需要配置变量就行了

milvus-io安装 以图搜图 milvus cpu支持，如果cpu的指令集连sse4_2都不支持的话，那么是启动不了milvus 使用docker的启动milvus向量数据库 docker run -d --name search_images \ --ip 172.17.0.2 \ -v /data/milvus/db:/var/lib/milvus/db \ -v /data/milvus/conf:/var/lib/milvus/conf \ -v /data/milvus/logs:/var/lib/milvus/logs \ -v /data/milvus/wal:/var/lib/milvus/wal \ -p 19530:19530 \ -p 19121:19121 \ milvusdb/milvus:1.0.0-cpu-d030521-1ea92e 使用docker启动以图搜图的webserver服务 docker run -d --name pic_search_webserver \ --ip 172.17.0.3 \ -v /data/milvus/images:/tmp/pic1 \ -p 35000:5000 \ -e "MILVUS_HOST=172.17.0.2" \ milvusbootcamp/pic-search-webserver:2.0 使用docker启动以图搜图的webclient服务 docker run -d --name pic_search_client \ --ip 172.17.0.4 \ --rm \ -p 8001:80 \ -e API_URL=http://192.168.10.61:35000 \ milvusbootcamp/pic-search-webclient:1.0

elasticsearch导入pdf文件（非结构）以及导入json（结构化） 导入方法 因为pdf被索引后虽然能搜索到文档内容，但是这里的需求是能够返回文档的名字 使用循环计算出每个文件的md5值，然后同时插入文件的md5值和文件名到数据库中 达到这种效果之后还需要在索引文件的手动设置id，取md5值 到这里，当我们从elasticsearch的索引中查询关键字并且选择打开的时候，可以取其id值在数据库中查询到对应的文件名称，即可实现打开搜索内容也显示对应的文件名 需求 elasticsearch不支持还原pdf文件，所以，上面描述的打开，实际上是显示搜索到的内容，并不能真正打开搜索到关键字的整个文档 这里，我们可以通过两个办法来实现： 当选择需要打开的搜索内容的时候取其id值，然后再次通过id值搜索，可以得到整个pdf文件的base64编码，再通过base64解码后即可以还原文件，这种方案只是手动尝试过，并没有实现 把文件的md5值名称状态的文件放入目录中，当打开搜索到的内容的时候，取其md5值，去匹配文件夹中的所有文件，匹配得到则显示即可 pdf的内容可以和文件名称可以转换为json格式的文档，经过elasticsearch索引后即可搜索，目前的方案是抽取mysql数据库的值和字段 其他问题 elasticsearch在导入的时候值内不能有换行符，即每个记录从第一个字段到最后一个字段只能是一行，要求每行之前必须有索引和关键字，id则不是必须 满足上面的条件后即可通过POST方法接--data-binary @FILEA_NAME来导入json文件到索引中 需要搜索中文，并且分词，一定要提前在字段中设置好

logstash安装以及启动 精简配置 日志输出可以是多种的，比如输出到文件或者控制台，输出到控制台有利于调试 输出到控制台 output { stdout { codec => "rubydebug" } } 输出到文件 output { file { path => "/tmp/nginx.log" } } 启动命令 ./bin/logstash -f config/nginx.conf -r # 需要放入后台，-r 能再配置文件更新时自动重载，不需要每次重启 docker启动 20241111，这次使用 docker swarm 来运行 logstash，并且在版本是 8.15.3 的情况下，大概需要做如下配置： 创建持久话配置的目录 config 、pipline 配置 config/logstash.yml 文件 http.host: "0.0.0.0" xpack.monitoring.elasticsearch.hosts: [ "https://192.168.10.120:9200","https://192.168.10.121:9200","https://192.168.10.122:9200" ] xpack.monitoring.elasticsearch.username: "elastic" xpack.monitoring.elasticsearch.password: "jdCMnvR9QjDxkHqdH4BG" xpack.monitoring.elasticsearch.ssl.verification_mode: "none" pipeline.batch.size: 1000 pipeline.batch.delay: 5 pipeline.workers: 4 queue.type: persisted queue.max_events: 1_000_000 queue.max_bytes: 1gb config.reload.automatic: true config.reload.interval: 10s 有几个重点： 忽略证书的错误，否则无法连接 elasticsearch 优化推送的队列，缓存等 配置更新自动重载，避免每次都要重新创建容器，重新下载地图资源很慢 配置 pipline/logstash.conf 文件 启动服务 docker service create --name logstash \ --mount type=bind,src=/docker/others/logstash/pipeline/,dst=/usr/share/logstash/pipeline/ \ --mount type=bind,src=/docker/others/logstash/config/logstash.yml,dst=/usr/share/logstash/config/logstash.yml \ --network mynets \ --replicas 1 \ harbor.xxx.com/sz/logstash:8.15.3