FAQ 离线任务PG写入Iceberg,spark任务一直卡在阶段0

问题描述/异常栈
25/08/19 11:25:54 WARN TaskSetManager: Lost task 0.2 in stage 0.0 (TID 17) (crbev-calculate-01.onedata.crbeverage.com executor 1): transfer.gp.connector.org.postgresql.util.PSQLException: ERROR: error when writing data to gpfdist http://10.**.**.**:35127/spark_c4a8fb7c52fd91ea_969fca15c2095b41_1_54, quit after 8 tries (url_curl.c:596) (seg5 rlkj-jtbipvsrd05-3:44001 pid=6773) (cdbdisp.c:1322)
发现版本
EasyDataV9.0-patch01
解决方案
gp登记成pg,再尝试pg-iceberg
问题原因
gp连接器使用的是官方gp spark connector,读和写逻辑都是使用gp的gpfdist协议,要求gp节点和yarn节点网络互通。另外,gp4版本spark有bug,可更换为pg数据源。

作者:楚展航