크롤링, 스크래핑, 파싱

[ 크롤링, 스크래핑, 파싱의 차이 ] [ 웹 크롤링 ] 크롤러라는 봇이 존재하며, 조직적, 자동화된 방법으로 www 을 탐색하는 프로그램이며, 여러 인터넷 사이트를 수집 후 분류하고 분류 한 데이터를 저장한 뒤 인덱싱하는 작업을 말한다. [ 웹 스크래핑 ] 웹 크롤러로 페이지의 정보를 얻고 구역별로 HTML의 태그의 정보로 데이터를 추출하는 것을 의미하며 크롤링은 웹 스크래핑의 방법 중 하나이다. [ 파싱 ] 어떠한 웹 페이지에 대해 내가 원하는 데이터를 특정패턴, 순서로 추출하여 정보로 가공한다. [ 결론 ] 크롤링은 여러 웹페이지를 탐색하고 스크래핑을 통해 특정 페이지의 정보를 추출 후 파싱하여 우리가 원하는 데이터 형태로 가공한다. [ 웹 스크래핑의 한계 ] 웹 페이지가 수정될 경우 스크래핑이 중..

• format_list_bulleted 🌱 프로젝트/크롤링
• · 2022. 9. 30.

[SPRING] JPA, ORM

[ JPA ] JPA ( Java Persistence API )로 자바 진영의 ORM 기술 표준이다. JPA는 인터페이스의 모음이다. (JPA 2.1 기준 HIbernate, EclipseLink, DataNucleus 의 표준 명세를 구현했다.) [ ORM ] ORM (Object-Relational Mapping) 로 객체는 객체데로 RDB는 RDB대로 설계 후 ORM 프레임워크가 중간에서 매핑한다. [ 장점 ] 생산성 : CRUD의 편의 제공 유지보수 : 클래스의 필드가 바뀌었을 때 SQL문을 일일히 수정할 필요가 없다. ( JPA를 사용하면 SQL문을 사용하지 않는다) 패러다임의 불일치 해결 : 동일한 트랜잭션안에서 조회한 엔티티는 메모리에 위치가 같음을 보장 더보기 String memberId..

• format_list_bulleted 🍃 스프링
• · 2022. 9. 27.

[SPRING] JAVA8

[ Lambda ] [ 람다함수 ] 프로그래밍 언어에서 사용되는 개념으로 익명함수를 지칭하며 함수를 단순하게 표현하는 방법. [ 장점 ] 코드의 간결성 : 복작한 식을 단순히 표현 가능. 지연연산 수행 : 지연실행 함으로 불필요한 연산을 최소화한다. 지연실행이란 프로그램이 실행될 때 메소드가 메모리에 올라가 있는 상태가 아닌 코드에서 필요할때만 실행되는 (Lazy Loading)것을 의미한다 병렬처리 가능 : 멀티쓰레드를 활용하여 병렬처리 가능. (Stream 이용) [ 단점 ] 람다식의 호출이 까다롭다. 람다 Stream 사용 시 for, while 문보다 비효율적일 수 있다. for, while 문은 break를 통해 탈출조건을 만들 수 있지만 stream.forEach()의 경우 조건이 만족됬다할지..

• format_list_bulleted 🍃 스프링
• · 2022. 9. 25.

[SPRING] Maven, Gradle

빌드 관리 도구 프로젝트에서 작성한 코드와 xml, yml, properties, jar 파일을 JVM이나 Tomcat이 인식할 수 있도록 패키징 해주는 빌드 과정을 빌드 자동화 도구라고 말할 수 있으며 앱 개발 시 다양한 외부 라이브러리를 설치하고 해당 라이브러리를 사용한다. 이때 라이브러리를 모두 다운받지 않고 빌드도구 설정파일에 의해 필요한 라이브러리 종류와 버전과 종속성을 명시하여 명시된 내용을 바탕으로 다운로드 해주는 도구를 빌드 관리 도구라고 한다. [ Maven ] 더보기 Java 용 프로젝트 관리도구로서 Apache의 Ant 대안으로 만들어짐. 프로젝트, 빌드 순서, 외부 라이브러리 종속성 관계를 pom.xml에 명시 외부 저장소에서 필요한 라이브러리와 플러그인을 설치 후 로컬 캐시에 모두..

• format_list_bulleted 🍃 스프링
• · 2022. 9. 24.

Vue Framework에서 Build 하기 - 소방서 알림 #6

vue에서 구현한 front 영역을 build 했다. build.gradle plugins { id 'org.springframework.boot' version '2.7.3' id 'io.spring.dependency-management' version '1.0.13.RELEASE' id "com.github.node-gradle.node" version "3.1.0" id 'java' } * 생략 * node { version = '16.17.0' npmVersion = '8.15.0' workDir = file("frontend") npmWorkDir = file("frontend") nodeModulesDir = file("frontend") } 스프링에서 npm 관련 설정을 해주었다. 뷰 프레..

• format_list_bulleted 🌱 프로젝트/소방알리미
• · 2022. 9. 18.

Firestation Spring - 소방서 알림 #5

[ 프로젝트 ] 사람이 인지하지 못한 화재에 대응하는 서비스입니다. 원리:화재 감지 센서와 AI 기술을 이용하여, 화재 발생시 자동으로 주변 소방서에 알림을 전송합니다. 빠른 대응으로 더 큰 화재 피해 방지 사람이 인지하지 못한 화재 대응 가능 빈 집 화재 대응 가능 [ Spring ] [ Controller ] 1. MemberController @Slf4j @Controller public class MemberController { @Autowired private FirestationService firestationService; @GetMapping({"", "/"}) public String index () { return "index.html"; } @GetMapping("/user/reg..

• format_list_bulleted 🌱 프로젝트/소방알리미
• · 2022. 9. 17.