本篇内容介绍了“Flink如何使用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
1、首先拉取镜像
docker pull flink
2、创建一个docker的network
docker network create flink-network
3、运行容器
docker run --rm --name=jobmanager --network flink-network --publish 8081:8081 --env FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager" flink:latest jobmanager
4、然后直接访问 http://localhost:8081/ 能访问进去,就完事了。使用,等会用了再来补充。
用容器提交任务老半天提交不上去,后来在本地安装了一个,由于是windos的,所有下载了一个1.9.3的版本下载的。
1、运行很简单,直接找到bin目录,然后双击运行即可。
2、然后提交任务的时候出现Entry Class没有的话,表示没有主目录,也就是打包的时候没有指定main函数导致的,配置中可以设置下主目录即可。
3、然后提交任务,点击show plan会报错,提交任务也报错。可以在Job Manage菜单看到Logs点进去,拉到最下面发现有报错信息,都是缺少类,这个狗日的问题困扰了老半天,百度找不到,我觉得应该是很低级的问题,可能很少犯(起码版本问题,但实际上并不是)。后面找到些博客说是在lib下添加引用类,老子用的pom又不是直接引用的jar。后面发现flink有个lib文件夹,就把jar丢进去了,发现虽然还是缺少类,但是缺少的类变了。然后我尝试打包所有的依赖项到一个jar,错误变了,但是依旧是缺少类。后面又找了很久的博客,忘记记下地址了,说打包时候并不是所有的依赖都要打包,然后给出了一个maven的打包信息,然后试了下,好了。只想说一句MMP,这问题应该很多人记录才对,但是都没有记录,那我就记录下吧。后面再补充报错信息。
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.0.0</version> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> <configuration> <artifactSet> <excludes> <exclude>com.google.code.findbugs:jsr305</exclude> <exclude>org.slf4j:*</exclude> <exclude>log4j:*</exclude> </excludes> </artifactSet> <filters> <filter> <!-- Do not copy the signatures in the META-INF folder. Otherwise, this might cause SecurityExceptions when using the JAR. --> <artifact>*:*</artifact> <excludes> <exclude>META-INF/*.SF</exclude> <exclude>META-INF/*.DSA</exclude> <exclude>META-INF/*.RSA</exclude> </excludes> </filter> </filters> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"> <mainClass>com.uwith.Application</mainClass> </transformer> </transformers> </configuration> </execution> </executions> </plugin> </plugins></build>
“Flink如何使用”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。