IDEA 中使用 Big Data Tools 连接大数据组件

简介

Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin,AWS S3,Spark,Google Cloud Storage,Minio,Linode,数字开放空间,Microsoft Azure 和 Hadoop 分布式文件系统(HDFS)来监视和处理数据的特定功能。

下面来看一下 Big Data Tools 的安装和使用,主要会配置 Flink,Kafka 和 HDFS。

安装 Big Data Tools 插件

图片
image-20220522170703800

点击安装完成之后,需要重启一下 IDEA,插件才能生效,上面我已经安装过了。

Flink 配置(不推荐)

flink 需要下载即将发布的 IDEA 2022.2-EAP 版本才有,因为之前是不支持 flink 的。

图片
image-20220522202515845

先点击 IDEA 右侧的 Big Data Tools,然后点击加号就可以添加 Flink 组件了。

图片
image-20220522202819718

输入 Flink WEB UI 地址,点击 OK 就可以了。

图片
image-20220522203842116

这样就可以直接在 IDEA 里面查看 Flink Dashboard,跟在 Web UI 上的功能完全一样,点击箭头所指的地方可以直接跳转到 Flink UI,虽然可以直接在 IDEA 里面查看 Dashboard,但是个人感觉还是在 Flink Web UI 上查看更加方便,可能是看习惯了。不是太推荐这个功能。

Kafka 配置(推荐)

然后来看一下 kafka 的配置。

图片
image-20220522205522598

同样的,点击加号选择 Kafka 然后设置一下 Kafka 集群的 broker list ,点击 OK 就行了。

图片
截屏2022-05-22 下午8.58.27

可以看到所有 topic 的详细信息,包括 partition,replicas 等,还可以查看 Consumers 的情况,这个功能还是不错的,虽然现在也有很多开源的 kafka 监控工具,但是配置起来还是有一点门槛,这个插件的配置几乎是零门槛,对于简单的查看 kafka 的信息还是非常不错的。

HDFS 配置(推荐)

最后再来配置一个 HDFS。

图片
image-20220522211549151

Authentication type 选择 Explicit uri 然后设置一下 HDFS 服务地址就可以了。

图片
image-20220522212131641

直接就可以查看 HDFS 上的目录及文件,这个功能还是非常方便的,就不用在登录 HDFS-Web 去查看文件了。

总结

从 Big Data Tools 插件的安装配置到使用,主要介绍了 Flink,Kafka,HDFS,这三个组件的配置使用,整个配置过程是非常简单的,当然这个插件支持的组件远不止这些,包括像 spark,hive,zeppelin 等都是支持的,感兴趣的同学可以自己在 IDEA 里面体验一下,整体上来说,这个插件还是非常有用的。

声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/11641.html

联系我们
联系我们
分享本页
返回顶部