DolphinScheduler配置Seatunnel同步任务出错(从MySQL同步数据到Doris)
DolphinScheduler配置Seatunnel同步任务出错(从MySQL同步数据到Doris)DolphinSScheduler版本3.2.0, Seatunnel版本2.3.4
错误日志定义好工作流后, 上线运行报错, 关键日志入下:
12345678910111213141516171819202122[INFO] 2025-02-16 13:02:00.427 -0800 - tenantCode :root, task dir:/tmp/dolphinscheduler/exec/process/root/16670700117984/16677825236448_2/2/3[INFO] 2025-02-16 13:02:00.429 -0800 - generate script file:/tmp/dolphinscheduler/exec/process/root/16670700117984/16677825236448_2/2/3/seatunnel_2_3.conf[INFO] 2025-02-16 13:02:00.433 -0800 - SeaTunne ...
安装Superst报错 Failed building wheel for python-geohash&Command errored out with exit status 1
安装Superst报错 Failed building wheel for python-geohash&Command errored out with exit status 1具体报错如下图所示:
前置操作123456789101112conda --version#conda 23.5.2#创建虚拟环境conda create -n superset python=3.6#激活conda activate superset#安装依赖pip install sqlalchemy==1.3.24 pip install dataclasses==0.8 pip install --upgrade cryptography==3.2#安装Supersetpip install apache-superset
分析与解决办法看到报错判断出编译环境出了问题, 然后想到使用anaconda作为环境安装应该不会出现错误才对, 出于谨慎先检查gcc
12rpm -q gcc#gcc-8.5.0-3.el8.x86_64
gcc存在, 应该不是它的问题, 经过搜索发现可能是缺少某些开发 ...
埃及旅行经验与避坑指南
埃及旅行经验与避坑指南考完试后去埃及旅行一周，记录一下旅行中遇到的一些坑，希望对大家有所帮助。我发现大家踩坑的一大原因就是对当地的物价水平完全不了解, 埃及的平均月收入大约是八千多埃镑,开罗是9780埃镑(首都, 大约1400人民币), 亚历山大是8890埃镑(第二大城市, 约1300人民币), 旅游城市像赫尔格达和卢克索基本也都在9200埃镑左右. 所以埃及的物价和消费其实是很低的, 在你消费前想一下这些可以帮你简单判断有没有被坑, 但如果你只去欧洲人度假的地方那就另说. 我们的价格不一定合适(砍价能力不强), 而且我们去的时候属于圣诞假期, 所以价格会高一些, 如果淡季去请大胆砍价.
电话卡和打车我们落地赫尔格达机场后,办完落地签出来,第一件事就是买了一个WE的电话卡,这就是第一个大坑. 它的电话卡不是一插上就能用的, 需要工作人员帮你手动激活, 导致我们出了机场手机完全没信号, 在那等了好久, 最后无奈上了黑车. 大约我们插卡后5个小时左右才有信号, 并且赫尔格达机场的电话套餐价格很贵, 18G套餐收了我们7.5美金(约375埃镑, 且只收美金), 然后我们最后在My WE(WE ...
Bigtable Paper Reading
Bigtable Paper Reading资料推荐: 深入浅出BigTable, B站似乎也有搬运, 看不了YouTube的小伙伴可以搜一下.
Bigtable的设计目标是为了达到广泛的应用性, 可扩展, 高性能和高可用, 我将从这几个目标来谈谈我对这篇论文的理解.
可扩展Bigtable是一个稀疏的、分布式的、持久的多维有序map，该map是基于行键(row key), 列键(column key), 时间戳(timestamp)三者建立索引的, map中的每个值都是一个未解释的字节数组. 每一条数据有一个行键, 通过行键可以原子性地读写一条数据. 一条数据包含了多个列族(column family), 不同行数据的同一列族内, 可以定义不同的列. 每一个列不仅可以保存值，而且可以保存多个版本，每个版本包含了一个时间戳。
列键被组织成一个叫列族的集合, 作为访问控制的基本单位. 存储在同一列族内的数据通常具有相同的类型, 在存储任何列键的数据之前必须先创建列族. 创建列族完成后, 列族中的任意列键都可以使用.
从上图我们可以看出bigtable的表设计是一张灵活的,”稀疏”表, ...
最近的思考与选择
最近的思考与选择身体健康最重要这个月, 我的外婆被确诊为肺癌, 听到这个消息时, 我仿佛被重重击中, 本以为只是普通的肺结节或小肿瘤(大多数都是良性的). 她动完手术后虚弱的样子让我真正体会到了“奄奄一息”的含义, 一个七十多岁的老人, 肺部手术后的虚弱, 再加上医院的压抑氛围, 真的让人感受到人生的无奈与悲凉. 医生说后续她需要化疗或使用靶向药，这取决于她术后的恢复情况和意愿. 我意识到, 我生命中最亲近的一个人, 可能在未来几年内离我而去(五年生存率不到50%). 原本觉得人生是如此美好, 但现在的心情却充满了难过和无力. 最近还看到frs学长的水滴筹求助, 23岁就得了白血病, 唉. 希望看到这篇博客的你们, 能健康、平安、快乐. 身体健康, 是这世上最珍贵的财富. 无论未来有多不可预知, 我只愿每个人都能好好照顾自己, 珍惜当下.
AI生成式AI是一项革命性的技术吗?从底层原理来说, 我认为不是, 其本质还是在做预测, 并且仍然是一个黑盒系统(虽然提高其可解释性的努力在持续进行, 但我觉得短时间可能不会有什么进展). 但从应用角度来说, 是的, 它能以极低的成本提高效率(虽然能 ...
HDFS Paper Reading
HDFS Paper Reading我认为HDFS是一个更加通用的开源的GFS, 其架构和设计思路与GFS非常相似, 但是HDFS在实现上更加简单, 更加通用, 所以我会关注常见的问题和显著不同的地方.
HDFS写流程
客户端发送写请求, 通过RPC与NameNode建立通信, NameNode检查该用户是否有写权限, 以及写入的文件是否在HDFS对应的目录下重名, 如果这两者有任意一个不满足, 则直接报错, 如果两者都满足, 则授予客户端一个写入租约(lease)
Client根据文件的大小进行切分, 默认128M一块, 切分完成之后给NameNode发送请求第一个block块写入到哪些服务器上
NameNode收到请求之后, 根据网络拓扑和机架感知以及副本机制进行文件分配, 返回可用的DataNode的地址
客户端收到地址之后与服务器地址列表中的一个节点进行通信, 建立pipeline, Client->DN0->DN1->DN2
Client向DN0以packet(64kb)形式传输数据, 然后沿着pipeline传输, ack响应会沿着pipeline逆序返回 ...