전체 글
-
HDP - ambari 설치 관련 참고카테고리 없음 2016. 11. 25. 12:02
HDP 설치전 환경 설정사항- http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/prepare_the_environment.html mysql metastore 설치- https://developer.ibm.com/hadoop/2015/10/30/configure-ambari-hadoop-cluster-use-single-mysql-database-instance/ (기본 설치 및 설정)- https://dev.mysql.com/doc/refman/5.7/en/connecting.html (설치된 메타스토어 원격 접속하는법) ssh접속은 root가 아닌계정으로
-
[LOGSTASH] logstash 전달용 nginx log conf개발노하우/Open.Source 2016. 11. 8. 19:05
map $upstream_response_time $upstream_response_time_without_hyphen { default $upstream_response_time; "" 0;} map $request_time $request_tirme_without_hyphen { default $request_time; "" 0;} log_format json '{"x_request_id": "$request_id", ' '"connections_active": "$connections_active", ' '"remote_addr": "$remote_addr", ' '"remote_user": "$remote_user", ' '"body_bytes_sent": "$body_bytes_sent", ' ..
-
TOP 10 PROGRAMMING FONTS개발노하우 2016. 6. 17. 11:39
source. http://hivelogic.com/articles/top-10-programming-fonts/ 10. COURIERAll systems ship with a version of Courier (sometimes Courier New), and unfortunately, many have it set as the default font for terminal and editor windows. It does the job, but it’s a bit dull and boring, lacking style and class. I don’t recommend this font if you have any other choice — and fortunately, you do. If you u..
-
Hadoop-2.6.4 + Zookeeper-3.4.8 + Spark-1.6.1 install개발노하우/Open.Source 2016. 6. 13. 15:02
들어가며, 본 포스트는 처음 하둡을 접하고 테스트 기반을 위한 설치 과정을 적은 내용입니다. 다소 미흡한 점이나 오류가 있을 수 있습니다. 또한 현재 이 글을 쓰고 있는 시점에 Hadoop은 2.7.2(25 January, 2016) 까지 나와있는 상태이며, Hadoop-2.7.2버전으로 Spark(1.6.1)를 함께 사용하려 했으나, 번번히 실패하였고 포기하여 2.6.4버전으로 설치를 진행하였습니다. (혹시 hadoop 2.7.2에 spark 1.6.1을 올리신 분이 계시다면 노하우좀 알려주세요..ㅜㅠ)mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.7.2 -Phive -Phive-thriftserver -DskipTests clean install 목표 - Hadoop y..
-
-
웹 프로젝트 수행중 발생한 이슈 처리개발노하우/Java 2016. 1. 14. 11:14
ASP를 JAVA로 전환하는 프로젝트를 수행하게되었다... 스트레스 테스트도 충분히 마치고 memory leak 도 없이 잘 처리되는것을 확인하였는데도 불구하고 상용 서비스에 돌입하자 점차 메모리 사용률이 올라감과 함께 swap도 점차 증가 추세임을 확인..!!! GC옵션도 보고....소스상에서 메모리 누수가 있을만한 부분도 다시 보고.... 혹시나 싶어 세션 클러스터링쪽을 주구장창 뒤져봤지만....괜한 옵션질을 해서;;;오히려 장애가 발생;;; 임시로 한달간 보름에 한번씩 서버를 리부팅해서 swap을 빼줬으나 다시 차오르는 swap (내가 왜 처음부터 네트워크쪽은 신경도 안썼는지..ㅜㅠ..애먼곳만 바라봤으니...어휴...) 우연하게??(가....아니겠지..) 배치서버가 ssh 접속이 불가한 현상이 발생..
-