月归档:2018年04月

elasticsearch配置选项

vi bin/elasticsearch
开头加入

#根据实际内存调整
ES_JAVA_OPTS="-Xms32g -Xmx32g"

vi config/elasticsearch.yml
尾部加入

bootstrap.memory_lock: false
bootstrap.system[......]

阅读全文

发表在 大数据 | 留下评论

vscode 配置文件

配置

{
    "http.proxy111": "http://127.0.0.1:10080",
    "window.zoomLevel": 0,
    "workbench.editor.revealIfOpen111": true,
    "editor.wordWrap": "[......]

阅读全文

发表在 未分类 | 留下评论

spark dataframe常用操作

DataFrame 的函数

Action 操作

1、 collect() ,返回值是一个数组,返回dataframe集合所有的行
2、 collectAsList() 返回值是一个Java类型的数组,返回dataframe集合所有的行
3、 count() 返回一个number类型的,返回dat[……]

阅读全文

发表在 大数据 | 留下评论

docker zeppelin-0.8.0-snapshot支持R,python和elasticsearch

使用的是docker shamsulazeem/zeppelin-0.8.0-snapshot

//连上docker环境先
docker exec -it 9b2898eabf6a /bin/bash

添加R语言支持

apt-get update
apt-get install r-base[......]

阅读全文

发表在 大数据 | 留下评论

pyspark代码段备忘

导出为csv

df.repartition(1).write.format("com.databricks.spark.csv").mode('overwrite').option("header", "true").save("/tmp/mydata.csv")
or
df.repartitio[......]

阅读全文

发表在 大数据 | 留下评论

elasticsearch解决字段冲突问题

思路: 第一步删除冲突的字段数据, 第二步重建索引(不是kibana里刷新索引)

第一步

POST logstash-log-2018*/_delete_by_query
{
    "query": {
        "exists" : { "field" : "response" }[......]

阅读全文

发表在 大数据 | 留下评论

修改docker镜像存放路径以及镜像源

系统centos7

修改docker镜像存放路径:

vi /usr/lib/systemd/system/docker.service
找到
ExecStart=/usr/bin/dockerd 后面加 –graph /home/data/docker, 改成:
ExecStart=/[……]

阅读全文

发表在 未分类 | 留下评论

Zeppelin连接elasticsearch的坑

抽空研究了下zeppelin连接elasticsearch,尝试各种配置死活报None of the configured nodes are available错误,最后找到原因:
zeppelin内置的elastcisearch interpreter默认是使用transport连接方式, 而t[……]

阅读全文

发表在 大数据 | 留下评论

nginx正向代理http、https和websocket

  • 目标: 访问不同站点都使用某服务器代理出去, 比如访问内网的多个站点, 而这些站点有些可能有https或websocket
  • 难点: websocket的反向代理比较简单, 但nginx原生是不支持https和websocket的正向代理的, 因为他们需要支持connect请求
CONNECT[......]

阅读全文

发表在 未分类 | 留下评论

CPU绑定和IRQ相关

查看cpu在干嘛

[root@zwserver ~]# mpstat -P ALL 1
Linux 3.10.0-693.el7.x86_64 (zwserver)  2018年04月10日  _x86_64_        (4 CPU)

19时43分23秒  CPU    %usr   %n[......]

阅读全文

发表在 linux | 留下评论