changedetection.io - 最好、最简单的免费开源网站变更检测、补货监控和通知服务。补货监控、变化检测。设计简单 - 只需监控哪些网站免费更改了文本。免费开源网页变更检测、网站篡改监控、价格变更和降价通知

Created at: 2021-01-28 00:03:30

Language: Python

编号: https://github.com/dgtlmoon/changedetection.io

License: Apache-2.0

网站更改检测、补货监控和通知。

检测网站内容更改并执行有意义的操作 - 通过 Discord、电子邮件、Slack、电报、API 调用等触发通知。

主动体验你的数据生活。

没时间？让我们为你托管！尝试我们的每月$ 8.99订阅 - 使用我们的代理和支持！，价格减半其他网站变更监控服务！

包括浏览器。
超快，无需注册设置。
立即开始观看和接收网站更改通知。

使用视觉选择器工具定位网页的特定部分。

连接到剧作家内容提取器时可用（包含在我们的订阅服务中）

轻松查看更改的内容，按单词、行或单个字符进行检查。

执行交互式浏览器步骤

填写文本框，单击按钮等，设置更改检测方案。

使用浏览器步骤配置，在执行更改检测之前添加基本步骤，例如登录网站、将产品添加到购物车、接受 Cookie 登录、输入日期和优化搜索。

运行浏览器步骤后，请访问“视觉选择器”选项卡以优化你感兴趣的内容。需要启用剧作家。

示例用例

产品和服务的定价发生变化
缺货通知和补货通知
监控和跟踪PDF文件更改，了解PDF文件何时有文本更改。
政府部门更新（更改通常仅在其网站上）
新软件版本，安全公告，当你不在他们的邮件列表中时。
有变化的节日
迪斯科补货警报和监控
房地产上市变更
知道你最喜欢的威士忌何时开始销售，或者在其他人之前宣布其他特别优惠
来自政府网站的COVID相关新闻
大学/组织新闻来自其网站
检测和监控 JSON API 响应中的更改
JSON API 监控和警报
法律文件和其他文件的变更
当文本出现在网站上时，通过通知触发 API 调用
使用 JSON 筛选器和 JSON 通知将 API 粘合在一起
根据 Web 内容的变化创建 RSS 源
监控 HTML 源代码是否存在意外更改，增强你的 PCI 合规性
你有一个非常敏感的URL列表要观看，并且你不想使用付费替代品。（记住，你就是产品）
当某些关键词出现在 Twitter 搜索结果中时收到通知
主动搜索工作，在公司更新其职业页面时收到通知，在工作门户中搜索关键字。
当Bamboo HR和其他工作平台上有新职位空缺时收到提醒
网站污损监控
神奇宝贝卡补货跟踪器/神奇宝贝TCG跟踪器
监管科技 - 领先于监管变化，合规

需要一个支持 Javascript 的实际 Chrome 运行器吗？我们支持通过网络驱动程序和剧作家获取！

主要特点

许多触发器过滤器，例如“文本触发”，“通过选择器删除文本”，“忽略文本”，“提取文本”，也使用正则表达式！
使用 xPath（1.0）和 CSS 选择器的目标元素，使用 JSONPath 或 jq 轻松监控复杂的 JSON
在快速的非JS和基于Chrome JS的“抓取器”之间切换
跟踪 PDF 文件中的更改（监视 PDF 中更改的文本，同时监视 PDF 文件大小和校验和）
轻松指定检查站点的频率
在提取文本之前执行 JS（适合登录，请参阅UI中的示例！
覆盖请求标头、指定 or 和其他方法
```
POST
```
```
GET
```
使用“视觉选择器”帮助定位特定元素
每个手表的可配置代理
在网页中检测到更改时发送带有通知的屏幕截图

我们推荐并使用Bright Data全球代理服务，Bright Data将使用我们的注册链接匹配任何高达100美元的首次存款。

Oxylabs 也是一个很好的代理提供商，非常值得使用，他们提供驻留、ISP、轮换和许多其他代理类型来适合你的项目。

请为⭐这个项目加星标⭐并帮助它成长！https://github.com/dgtlmoon/changedetection.io/

安装

docker

使用Docker作曲家，只需克隆此存储库即可。

$ docker-compose up -d

docker 独立

$ docker run -d --restart always -p "127.0.0.1:5000:5000" -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io

:latest

tag是我们最新的稳定版本，标签是我们最前沿的分支。

:dev

master

ghcr 的替代 docker 存储库 - ghcr.io/dgtlmoon/changedetection.io

窗户

请参阅维基 https://github.com/dgtlmoon/changedetection.io/wiki/Microsoft-Windows 中的安装说明

蟒蛇点

查看我们的 pypi 页面 https://pypi.org/project/changedetection.io/

$ pip3 install changedetection.io
$ changedetection.io -d /path/to/empty/data/dir -p 5000

然后访问 http://127.0.0.1:5000，你现在应该可以访问UI。

现在，每个站点的可配置支持使用快速内置的HTTP提取器或使用基于Chrome的获取器来监视JavaScript网站！

更新 changedetection.io

docker

docker pull dgtlmoon/changedetection.io
docker kill $(docker ps -a -f name=changedetection.io -q)
docker rm $(docker ps -a -f name=changedetection.io -q)
docker run -d --restart always -p "127.0.0.1:5000:5000" -v datastore-volume:/datastore --name changedetection.io dgtlmoon/changedetection.io

docker 撰写

docker-compose pull && docker-compose up -d

请参阅维基以获取更多信息 https://github.com/dgtlmoon/changedetection.io/wiki

过滤器

XPath（1.0）、JSONPath、jq 和 CSS 支持已经融入其中！你可以根据需要尽可能具体，使用从各种 XPath 元素查询创建工具导出的 XPath。（我们支持 LXML 和。

re:test

re:match

re:replace

通知

ChangeDetection.io 支持大量的通知（包括电子邮件、Office365、自定义API等），当一个网页通过爱普瑞斯库检测到更改时。只需在该手表的 [编辑] 选项卡中设置一个或多个通知 URL。

只是一些例子

discord://webhook_id/webhook_token
flock://app_token/g:channel_id
gitter://token/room
gchat://workspace/key/token
msteams://TokenA/TokenB/TokenC/
o365://TenantID:AccountEmail/ClientID/ClientSecret/TargetEmail
rocket://user:password@hostname/#Channel
mailto://user:pass@example.com?to=receivingAddress@example.com
json://someserver.com/custom-api
syslog://

以及此列表中的其他所有内容！

现在，你还可以自定义通知内容，并使用Jinja2模板作为其标题和正文！

接口监控

通过使用 JSONPath 或 jq 根据需要过滤、解析和重构 JSON，检测更改并监控 JSON API 中的数据。

这将重新解析 JSON 并将格式应用于文本，从而非常容易监控和检测 JSON API 结果中的更改

JSONPath 还是 jq？

对于更复杂的 JSON 数据解析、过滤和修改，由于内置运算符和函数，建议使用 jq。有关 jq 的更具体信息，请参阅文档。

它的一大优点是，你可以在 JSON 筛选器中使用逻辑，例如筛选器仅显示值大于/小于等的项目。

jq

请参阅 wiki https://github.com/dgtlmoon/changedetection.io/wiki/JSON-Selector-Filter-help 以获取更多信息和示例

解析嵌入在 HTML 中的 JSON！

启用 or 过滤器后，你甚至可以自动提取和解析 HTML 页面中的嵌入式 JSON！对于基于 JSON 构建内容的网站（例如许多电子商务网站）来说非常方便。

json:

jq:

<html>
...
<script type="application/ld+json">

{
   "@context":"http://schema.org/",
   "@type":"Product",
   "offers":{
      "@type":"Offer",
      "availability":"http://schema.org/InStock",
      "price":"3949.99",
      "priceCurrency":"USD",
      "url":"https://www.newegg.com/p/3D5-000D-001T1"
   },
   "description":"Cobratype King Cobra Hero Desktop Gaming PC",
   "name":"Cobratype King Cobra Hero Desktop Gaming PC",
   "sku":"3D5-000D-001T1",
   "itemCondition":"NewCondition"
}
</script>