V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
jeeyong
V2EX  ›  Python

[求教]监控数据表, 并将新增数据写入另一个数据库.

  •  
  •   jeeyong · 2022-09-05 17:04:32 +08:00 · 2097 次点击
    这是一个创建于 789 天前的主题,其中的信息可能已经有所发展或是发生改变。
    情况如下:
    需要监控一个 SQL SERVER 数据库的视图表, 当有新数据写入时, 需要把该条数据写入到我自己系统的数据表中.
    SQL SERVER 是客户生产数据库, 我不能做任何改变, 只能进行查询.

    目前只想到:
    1. 定时全量写入我的数据库中. 客户数据库的数据增量不算大. 一年 2 万条左右吧. 全量写入一次的时间再 2S 左右.
    我的数据库需要通过公网访问. 华为的 RDS.
    2. 逐条对比, 使用 python 的内置运算符.
    我自己系统的数据库是 MySQL 的数据库.

    是否有更好的方法监控呢? 允许有 30 秒以内的延迟..
    11 条回复    2022-09-06 10:47:46 +08:00
    E520
        1
    E520  
       2022-09-05 17:10:41 +08:00
    设置 Mysql 从库
    frank1256
        2
    frank1256  
       2022-09-05 17:25:18 +08:00
    客户的视图能提供 create_time 吧,每次别全量,通过日期找增量就够了
    jeeyong
        3
    jeeyong  
    OP
       2022-09-05 17:48:16 +08:00
    @frank1256 他只记录了年月日, 后面的时间都是 00:00:00


    @E520 MySQL 和 SQL SERVER 设置从库嘛?
    我的权限够嘛?
    Kinnice
        4
    Kinnice  
       2022-09-05 18:09:13 +08:00
    CDC
    update
        5
    update  
       2022-09-05 18:18:15 +08:00
    触发器
    yyf1234
        6
    yyf1234  
       2022-09-05 18:21:11 +08:00 via iPhone
    触发器
    jeeyong
        7
    jeeyong  
    OP
       2022-09-05 18:24:03 +08:00
    @update
    @yyf1234
    在我不修改客户数据库的前提下, 可以使用触发器吗?
    要修改可能性很低, 各种上报..
    killva4624
        8
    killva4624  
       2022-09-05 18:28:26 +08:00
    binlog
    jeeyong
        9
    jeeyong  
    OP
       2022-09-05 18:36:46 +08:00
    我决定按日期进行同步了....
    insert no ignore
    sunshengkai27
        10
    sunshengkai27  
       2022-09-05 20:04:09 +08:00
    kafka Connector 应该可以.
    yizmaoaa
        11
    yizmaoaa  
       2022-09-06 10:47:46 +08:00
    典型 CDC....直接上 debezium
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2666 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 12:20 · PVG 20:20 · LAX 05:20 · JFK 08:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.