Elastic-kinaba-openstreemap-embulk 로 지리정보가시화

https://qiita.com/terukizm/items/46b531b7fcc7a5f6f436

Read More

ELK 테스트 해본자료

갠적으로 따라하기 쉬웠던 곳
-Logstash 설치 및 사용법
http://brownbears.tistory.com/67
-(3) ELKR (ElasticSearch + Logstash + Kibana + Redis) 로그 분석 시스템
http://blog.plura.io/?p=3363

-Logstash Configuration Examples


http://blog.naver.com/PostView.nhn?blogId=hanajava&logNo=221012261799&categoryNo=74&parentCategoryNo=0&viewDate=&currentPage=1&postListTopCurrentPage=1&from=postView

-grok 란
http://sjh836.tistory.com/69

-ELK 심플하게 설명(주제-설명)
http://heowc.tistory.com/49

-순천향 학교자료
http://cs.sch.ac.kr/lecture/BigData/2017/10-Logstash.pdf

-ELK 요약
http://enterkey.tistory.com/379

-Logstash,MYSQL
https://qbox.io/blog/mysql-logs-elasticsearch-logstash-kibana
여기보고했느데, 6.2 에서 에러가 나서
코덱 부분만 이렇게 바꾸면됨.
input {
 file {
   path => ["/var/log/mysqld.log"]

   codec => multiline {
           pattern => "^%{NUMBER} *%{NUMBER}"
           negate  => true
           what    => "previous"
       }
 }
}

---------------------

Elasticsearch6.2 버젼에서는 mapping.json 부터가 안된다.왜.ㅆㅂㄴㄷㅇ

 Rejecting mapping update to [products] as the final mapping would have more than 1 type: [item, item_price]"}
요따구 에러가..여기서 than 1 type 인데 ES 는 TYPE 이 테이블이다..즉, 테이블이 두개란다. 칙쇼 같은것들 그냥 RDB 나 아예 다른용어쓰지..하긴..near realtime 이란 병신같은 말도 지어냈으니..ES 만든ㅆㅂㄴ은 식당에서 계산할떄 9999원 내며 거의 만원이니까 그냥 내도 되죠? 라고 하나?

https://medium.com/@federicopanini/elasticsearch-6-0-removal-of-mapping-types-526a67ff772

여기를 참고해보면, 일단 index 의 이름을 중괄호로 mappings {} 를 감싸주면된다.

"mappings": {
    "restaurant": {
      "properties": {
}
를
"ldgourmet":{
  "aliases": {},
  "mappings": {
    "restaurant": {
      "properties": {

}
식으로

그리고 boolean 타입과 string -> text 바뀐타입 체크

curl -XPUT 'http://localhost:9200/ldgourmet' -H "Content-Type: application/json" -d @mapping.json
일케 실행하면..
-----

yellow open   ldgourmet           viHSs2n9SzK1TEZ4K5RHsA   5   1          0            0      1.1kb          1.1kb

---생성되었다..

https://qiita.com/morin_river/items/a78f7c85030984222e5e 이사람도 뭔가 써놓긴했는데 자세하진않았고.

Read More

ELK Filebeat, AWStats 설치

CentOS 7에 ELK, Filebeat, AWStats 설치 후 웹 로그 및 쉘 명령어 분석하기

https://handongchoi.com/2017/10/28/install-elk/

무엇보다 , post 의 body 를 로그에 남길수있게 한다는 것이 신기.

Read More

Elastic Stack을 바탕으로 NMS 만들기

• Elastic NMS Part 1: 엔진을 켜라!
• Elastic NMS Part 2: Syslog 원격로깅
• Elastic NMS Part 3: Mapping과 Template
• Elastic NMS Part 4: Kibana로 Visualize하기
• Elastic NMS Part 5: NetFlow 수신하기
• Elastic NMS Part 6: SNMP 수신하기

Read More

ELK 스택에서 CPU 점유율이 높을때,메모리줄이기

• ELK 스택에서 CPU 점유율이 높을때
  http://se-you.tistory.com/2
• Elasticsearchのメモリ使用量を減らす
  https://www.karakaram.com/elasticsearch-memory-usage-reduce

Read More

Linux Top 명령어 사용법

• top 명령어를 통한 시스템 분석
  http://www.morenice.kr/30
• [간단][Linux] Top 명령어 사용법-간단
  http://bluelimn.tistory.com/entry/Linux-Top-%EB%AA%85%EB%A0%B9%EC%96%B4-%EC%82%AC%EC%9A%A9%EB%B2%95
• [상세\Linux-시스템의-전체상태를-실시간으로-파악
  http://1828.tistory.com/entry/Linux-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%9D%98-%EC%A0%84%EC%B2%B4%EC%83%81%ED%83%9C%EB%A5%BC-%EC%8B%A4%EC%8B%9C%EA%B0%84%EC%9C%BC%EB%A1%9C-%ED%8C%8C%EC%95%85
  

Read More

window powershell 사용법

• 일본글
  https://qiita.com/opengl-8080/items/bb0f5e4f1c7ce045cc57
• 윈도우즈+파워쉘+알아보기+1편
  https://www.sharedit.co.kr/searches?q=%EC%9C%88%EB%8F%84%EC%9A%B0%EC%A6%88+%ED%8C%8C%EC%9B%8C%EC%89%98+%EC%95%8C%EC%95%84%EB%B3%B4%EA%B8%B0+1%ED%8E%B8+windows+powershell%EC%9D%B4%EB%9E%80&sort_by=relevancy
• 파워쉘10개팁,한글
  http://newstars.tistory.com/157

Read More

2018년4월은 AWS 자격증!!!

AWS Certified Solution Architect Associate(SAA) 

출제범위는 매일매일 학습 1달 끊자
https://github.com/serithemage/AWSCertifiedSolutionsArchitectUnofficialStudyGuide

2018/3/29
단어용약
http://sarc.io/index.php/aws/539-aws-concepts-and-words
용어 제대로 알자
https://brunch.co.kr/@topasvga/1
용어정리
http://web-front-end.tistory.com/74
또용어
http://soul0.tistory.com/466
유데미수강중인데 용어정리해따함
https://hjpco.wordpress.com/tag/%EC%9A%A9%EC%96%B4%EC%A0%95%EB%A6%AC/

quizlet
-https://quizlet.com/144321056/aws-certified-solutions-architect-associate-practice-questions-flash-cards/ 
-https://quizlet.com/143870396/aws-certified-solutions-architect-flash-cards/ 
-https://quizlet.com/199977642/aws-certified-solutions-architect-chapter-exams-flash-cards/
-https://quizlet.com/215627882/aws-certified-solutions-architect-associate-1-25-flash-cards/
-https://quizlet.com/swingeasy/folders/aws-solution-architect/sets 짱.
-https://quizlet.com/136353872/aws-certified-solutions-architect-flash-cards/
-https://quizlet.com/235826010/aws-certified-solutions-architect-associate-exam-questions-flash-cards/ 485문제
– AWS 한국 블로그 공식 사용 설명서
– AWS 공식 기술 사용 설명서
– Cloudwatch
– CloudTrail ( Cloudwatch 와 비교 )
– Spotinstance
– SQS
– SWF
– dynamodb
– ElastiCache
– S3 ( 특히 consistency model / 가용성 % / Encryption종류 ) 
– Glacier
– Kinesis
– RDS (Max Size)
– Route53 (레코드 종류[ex:A,AAAA,SOA,SRV])
– WorkSpace (VDI)
– Trusted Advisor (제공하는 영역)
– Soft Limit (S3, EC2, VPC, Route53 등등..)
– IAM Policy (JSON Document)
– Stateless / Stateful Services
– EBS
– VPC ( 특히 Subnet관련 )

시험후기
http://linux.systemv.pe.kr/aws-certified-solutions-architect-associate-exam-%EC%8B%9C%ED%97%98-%ED%9B%84%EA%B8%B0/



머지..소식지? 먼가 계속올리고있어..ㅎㄷ ㄷ
https://jirak.net/wp/aws-%EC%A3%BC%EA%B0%84-%EC%86%8C%EC%8B%9D-%EB%AA%A8%EC%9D%8C-2017%EB%85%84-10%EC%9B%94-16%EC%9D%BC/

Read More

WINDOW10 에 IIS 실행하기

한국설명
http://www.mixedcode.com/Article/Index?aidx=1072
^ MixedCode.com 에 좋은 자료 많다.
일본설명
http://nodemand.hatenablog.com/entry/2017/02/20/211859

Read More

파워포인트에 엑셀(별도파일) 그래프 붙이는 방법

https://dekiru.net/article/5281/

Read More

js chart amChart 사용법

• (***)グラフ作りが楽しくなる！amChartsの使い方を徹底解説https://fgxed.info/web/amcharts
• (***)amCharts勉強会
  https://www.slideshare.net/NaokiIwami/am-charts-45875432
• (***)공식홈페이지
  https://www.amcharts.com/
• (***)공식홈페이지TIP
  http://www.amcharts.com/kbase/
• データをチャート形式で表示するためにamChartsを利用してみる
  http://mikawatan.hatenablog.com/entry/2016/10/09/171130
• 綺麗なグラフを作成する WordPress プラグイン amCharts のサンプルコード
  https://yuichon.com/2016/05/wp-amcharts/
• Saving exported image on a server
  https://www.amcharts.com/kbase/saving-exported-image-on-a-server/

Read More

엘라스틱서치 실무 예제, 등 링크모음

총정리

ElasticSearch 기본 개념부터 

• (*)공식사이트
  https://www.elastic.co/kr/products/elasticsearch
• (*****)엘라스틱서치 이해하기 20160613
  https://www.slideshare.net/dahlmoon/20160613

Elasticsearch 강좌

• (*****)인프런 강좌:무료이고 상세한 기본설명
  https://www.inflearn.com/course/elk-%EC%8A%A4%ED%83%9D-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D/
• (*)Elasticsearch 설치 및 기본 활용:초간단 Slideshare 자료
  https://www.slideshare.net/kjmorc/elasticsearch-32431191
• (*****)elasticsearch_적용 및 활용_정리
  https://www.slideshare.net/JunyiSong1/elasticsearch-45936425
• (***)김종민-나만의 Elasticsearch Beats 만들기
  https://www.youtube.com/watch?v=N3NbYQgiUn0
• (***)설치후 리눅스에 서비스 설정
  https://qiita.com/surdonsan/items/7c8ef915110cd5154474
  https://www.elastic.co/guide/en/elasticsearch/reference/current/rpm.html 버젼참고
• (***)간단사용법
  https://okky.kr/article/328309

Elasticsearch 응용 & 최적화

• 일본식당DB를 활용한 elasticsearch 샘플제작
  https://github.com/kakakakakku/elasticsearch-hands-on/blob/master/README.md
  https://github.com/livedoor/datasets
• (*****)[2D1]Elasticsearch 성능 최적화
  https://www.slideshare.net/deview/2d1elasticsearch
• (*****)엘라스틱서치 분석 이해하기 20160623
  https://www.slideshare.net/dahlmoon/20160623
• (*****)엘라스틱서치 적합성 이해하기 20160630
  https://www.slideshare.net/dahlmoon/20160630
• (***)elastic search 간단팁
  http://sencha.tistory.com/entry/elastic-search-%EC%A0%95%EB%A6%AC?category=523595
• (*****)[XECon + PHPFest 2014] Session 3-2 : ElasticSearch를 이용한 통합검색 구축방법
  https://www.youtube.com/watch?v=xGKlg7HzPSI
• [Elasticsearch] 검색의 연관성 좀 더 높여보기
  https://www.slideshare.net/hosangjeon10/ss-43108684

EMOCON 2015 F/W ELK 스택을 사용한 서울시 지하철 대시보드 만들기
https://www.youtube.com/watch?v=ec-XzM6_CgU&feature=youtu.be

Read More

Elasticsearch 로그검색시스템 팁

http://www.iblue.kr/xe/?mid=board_pwTp15&listStyle=list&document_srl=1793774

갠적으로 이런 깔끔한 스탈좋은

Read More

ElasticSearch 를 윈도우에 설치하고 테스트 할때,

참고 : https://stackoverflow.com/questions/48209323/content-type-header-application-x-www-form-urlencoded-is-not-supported

-텍스트일떄는

curl -XGET localhost:9200/ -H "Content-Type: application/json" -d "{\"query\": {\"simple_query_string\" : {\"fields\" : [\"content\"], \"query\" : \"foo bar -baz\"}}}"

-json 파일일때는

curl -XPOST localhost:9200/classes/class/1/ -H "Content-Type: application/json" -d @onclass.json

_bulk 집어넣을떄 kibana 에서 편하게

Dev Tools 에서

POST _bulk

{ "index" : { "_index" : "basketball", "_type" : "record", "_id" : "1" } }
{"team" : "Golden States Warriors","name" : "Stephen Curry", "points" : 30,"rebounds" : 3,"assists" : 4, "blocks" : 5, "submit_date" : "2016-10-11"}
{ "index" : { "_index" : "basketball", "_type" : "record", "_id" : "2" } }

....

Read More

DOCKER 무중단 서비스 구현?

https://subicura.com/2016/06/07/zero-downtime-docker-deployment.html

Read More

Chrome 디비거 더 잘사용하기

https://subicura.com/2018/02/14/javascript-debugging.html#%EB%94%94%EB%B2%84%EA%B9%85%EC%9D%B4%EB%9E%80

Read More

HTML5간단소개

http://www.sqler.com/395443

Read More

DOCKER에대해 좀더 쉽게쉽게

http://dev.youngkyu.kr/32?category=577620

Read More

Sublime Text 단축키 및 팁

https://spoqa.github.io/2015/11/23/sublime-basic-tip.html

Read More

개발 환경에서 유용한 DOCKER명령어

https://spoqa.github.io/2017/06/22/docker-tip.html

Read More

자바스크립트의 Console 관련 메소드 유용함.

https://qiita.com/ysm001/items/9abcacf74ead8a871540#consolegroup--consolegroupcollapsed--consolegroupend

Read More

ELK 스택 인프런강좌 요약게시물

https://sanghaklee.gitbooks.io/elk/content/

Read More

ELK = Elasticsearch + Logstash + Kibana

0.먼저 이해
Logstash 로 서버 로그 수집프로그램. 여기서 수집한 정보는 Elasticsearch 에게 json 으로 쏜다.그걸 kibana 에서 쿼리로 그래픽분석하는 흐름

0-1. Logstash
-https://evilimp79.wordpress.com/2014/10/23/logstash-이해하기/
-http://asuraiv.blogspot.jp/2015/07/elasticsearch-logstash.html *설치와기본개념
test.conf 에 아래처럼입력하고 logstash -f test.conf 하면
input {
        stdin{ }
}
filter {
}
output {
        stdout {
                codec => rubydebug { }
        }
}
아래가 출력
desuk
{
    "@timestamp" => 2018-03-06T07:48:31.450Z,
      "@version" => "1",
          "host" => "pc1.local",
       "message" => "desuk"
}

Read More

Ruby 50 가지 팁 링크

https://gist.github.com/nacyot/7624036

알아두면 도움이 되는 55가지 루비 기법

루비도 공부했으니. 나중에 루비 쓸때 참고

Read More