기술면접 DB
데이터베이스의 정의
Database란 일반적으로 컴퓨터 시스템에 전자 방식으로 저장된 구조화된 정보 또는 데이터의 체계적인 집합을 의미합니다.
- 통합된 데이터 (Integrated Data) : 동일한 내용의 데이터가 중복되어 있지 않다는 것을 의미.
데이터 중복은 관리상의 복잡한 부작용을 초래. - 저장된 데이터 (Stored Data) : 컴퓨터가 접근 할 수 있는 저장 매체에 저장된 자료이다.
- 운영 데이터 (Operational Data) : 조직의 고유한 업무를 수행하는 데 존재 가치가 확실하고 없어서는 안될 반드시 필요한 자료이다.조직의 목적과 관계없이 저장된 데이터나 단순 입출력 데이터 같이 임시로 저장된 데이터는 운영 데이터에 속하지 않는다.
- 공용 데이터 (Shared Data) : 한 사람 또는 한 멉무를 위해 사용되는 데이터가 아닌 공동으로 사용되는 데이터를 의미한다.데이터는 어느 순간이라도 둘 이상의 프로그램 또는 여러 사람이 동시에 사용할 수 있다.
데이터베이스의 특징
- 실시간 접근성 (Real-Time Accessibility) : 비정형적인 질의(조회)에 대하여 실시간 처리에 의한 응답이가능해야 한다.
- 지속적인 변화 (Continuous Evolution) : 데이터베이스의 상태는 동적입니다. 즉 새로운 데이터의 삽입 ,삭제 , 갱신 으로 항상 최신의 데이터를 유지해야 한다.
- 동시 공용 (Concurrent Sharing) : 데이터베이스는 서로 다른 목적을 가진 여러 응용자들을 위한 것으로, 다수의 사용자가 동시에 같은 데이터를 이용 할 수 있어야 한다.
- 내용에 의한 참조 (Content Reference) : 데이터베이스에 있는 데이터를 참조할 때 데이터 레코드의 주소나 위치에 의해서가 아니라 사용자가 요구하는 데이터 내용으로 찾는다.
데이터 베이스 시스템과 구성요소
데이터베이스 시스템이란 데이터베이스를 이용하여 자료를 저장하고 관리하여 정보를 얻어내는데 필요한 컴퓨터 중심의 시스템을 말한다.
구성 요소
1. 데이터베이스
2. 스키마
3. DBMS(데이터베이스 관리 시스템)
4. 데이터베이스 언어
5. 데이터베이스 컴퓨터
6. 데이터베이스 사용자
DBMS 스키마 SQL RDBMS NOSQL
DBMS
- DBMS란(DataBase Management System) 사용자와 데이터베이스 사이에서 사용자의 요구에 따라 정보를 생성해 주고 데이터베이스를 관리해 주는 소프트웨어입니다.
- DBMS는 크게 질의처리기와 저장시스템으로 이루어져 있습니다.
스키마
- 데이터베이스의 구조와 제약조건에 관해 전반적인 명세를 기술한 것.
- 개체의 특성을 나타내는 속성(Attribute)과 속성들의 집합으로 이루어진 개체 (Entity), 개체 사이에 존재하는 관계(Relation)에 대한 정의와 이들이 유지해야 할 제약 조건들을 기술한 것입니다.
- 쉽게 정리하면 DB내에서 어떤 구조로 데이터가 저장되는가를 나타내는 데이터베이스의 구조!!
SQL
- SQL이란( Structured Query Language )관계형 데이터베이스 관리 시스템의 데이터를 관리하기 위해 설계된 특수 목적의 프로그래밍 언어이며 관계형 데이터베이스 관리 시스템에서 자료의 검색과 관리, 데이터베이스 스키마 생성과 수정, 데이터베이스 객체 접근 조정 관리를 위해 고안 되었다.
RDBMS
DBMS앞에 R(Relational)이 붙은 단어로, 관계형 데이터베이스관리 시스템을 말한다.
관계형 데이터베이스(RDB)는 테이블, 행, 열의 정보를 구조화하는 방식입니다. RDB에는 테이블을 조인하여 정보 간 관계 또는 링크를 설정할 수 있는 기능이 있어, 여러 데이터 포인트 간의 관계를 쉽게 이해하고 정보를 얻을 수 있습니다.
NoSQL
- NoSQL(Not Only SQL)의 약자로, 말 그대로 위에서 설명한 RDB 형태의 관계형 데이터베이스가 아닌 다른 형태의 데이터 저장 기술을 의미하고 있습니다. 또한 NoSQL에서는 RDBMS와는 달리 테이블간 관계를 정의하지 않습니다.데이터 테이블은 그냥 하나의 테이블이며, 테이블간의 관계를 정하지 않아 일반적으로 테이블간 Join도 불가능.
- NoSQL은 빅데이터의 등장으로 인해 데이터와 트래픽이 기하급수적으로 증가함에 따라 RDBMS에 단점인 성능을 향상시키기 위해 등장.
- 데이터 일관성은 포기하되 비용을 고려하여 여러 대의 데이터에 분산하여 저장하는 Scale-Out을 목표로 등장.
- NoSQL을 하면 가장 유명한 Document 기반의 MongoDB를 많이 떠올리지만 MongoDB는 NoSQL한 종류로NoSQL은 다양한 형태의 저장 기술을 지원하고 있다.
- Key Value DB
- 데이터가 Key와 Value 쌍으로 저장
- Key값은 어떠한 형태의 데이터라도 담을 수 있다. 이미지나 비디오도 가능함,중복되지 않는 유니크한 값
- 간단한 API를 제공하기 때문에 질의 속도가 굉장히 빠르다.
- Redis,Riak,Amazon Dynamo DB등이 있다.
- Document DB
- Key와 Document의 형태로 저장
- Document는 계층적인 데이터 타입(JSON, XML)으로 저장되는 장점이 있다.
- 주요한 특징으로는 객체-관계 매핑이 필요하지 않다. 객체를 도큐먼트의 형태로 바로 저장가능하기 때
- JSON 타입을 사용하므로 HTTP 기반의 웹서버의 경우 데이터를 편리하게 주고받을 수 있다.
- 단점이라면 사용이 번거롭고 쿼리가 SQL과는 다르다는점
- 대표적인 NoSQL Document 로는 MongoDB,CouthDB등이 있다.
- Wide Column DB
- Column-Family Model기반의 DB
- 이전의 모델들이 key-value 값을 이용해 필드를 결정했다면, 특이하게도 이 모델은 키에서 필드를 결정한다. 키는 Row(key값)와 Column-family, Column-name을 가진다. 연관된 데이터들은 같은 Column-family 안에 속해 있으며, 각자의 Column-name을 가진다. 관계형 모델로 설명하자면 어트리뷰트가 계층적인 구조를 가지고 있는 셈이다. 이렇게 저장된 데이터는 하나의 커다란 테이블로 표현이 가능하며, 질의는 Row, Column-family, Column-name을 통해 수행된다.
- Key, Value와 유사한 형태이다. 데이터가 내부에서 Key를 기준으로 오름차순 저장되는 차이점이 있다. Order by를 제공하지 않는 NoSQL에서 다양한 방법으로 활용할 수 있다는 장점이 있다.
- 대표적인 NoSQL Column-Family는 HBase,Hypertable이 있다.
- Graph Database
- 데이터를 Node와 Edge, Property와 함께 그래프 구조를 사용하여 데이터를 저장한다.
- 객체와 관계를 그래프 형태로 표현한 것으로 관계형모델이라고 할 수 있으며, 데이터 간의 관계가 키일경우에 적합하다.
- 페이스북이나 트위터 같은 소셜 네트워크에서(내 친구의 친구를 찾는 질의 등) 적합하고, 연관된 데이터를 추천해주는 추천 엔진이나 패턴 인식 등의 데이터베이스로도 적합.
- 대표적인 NoSQL Graph Model로는 Neo4J가 있다.
RDBMS vs NoSQL
관계형 및 비관계형 데이터베이스(NoSQL 데이터베이스)의 주요 차이점은 데이터를 저장하고 구성하는 방법입니다. 비관계형 데이터베이스는 규칙 기반의 테이블 형식 방식으로 데이터를 저장하지 않습니다 . 대신 데이터를 연결되지 않은 개별 파일로 저장하며, 문서 또는 리치 미디어 파일과 같은 복잡하고 구조화되지 않은 데이터 유형에 사용할 수 있습니다.
관계형 데이터베이스와 달리 NoSQL 데이터베이스는 유연한 데이터 모델을 따르므로 자주 변경되는 데이터를 저장하거나 다양한 유형의 데이터를 처리하는 애플리케이션에 적합합니다.
- RDBMS
- 장점
- 데이터의 분류,정렬,탐색 속도가 비교적 빠름,
- SQL이라는 구조화 된 질의를 통해 데이터를 다룰 수 있다.
- 정해진 스키마에 따라 데이터를 저장하여 하므로 명확한 데이터 구조를 보장.
- 각 데이터를 중복 없이 한번만 저장 할 수있다.
- 작업의 완정성을 보장함.
- 데이터의 UPDATE가 빠르다.
- 단점
- 반드시 스키마 규격에 맞춰서 데이터를 다뤄야 한다 (유연하지 못하다). 스키마가 변경 될 경우 번거롭고 어렵다.
- 테이블간 관계를 맺고 있어 시스템이 커질경우 JOIN문이 많은 복잡한 쿼리가 만들어질 수 있다.
- 성능 향상을 위해서는 Scale-Up만을 지원, 이로 인해 비용이 기하급수적으로 늘어날 수 있다.
- 데이터 처리에 대한 부하 발생시, 처리가 어렵다.
- 장점
- NoSQL
- 장점
- 데이터간의 관계를 정의하지 않음, (테이블간의 관계(Join)이 불필요)
- RDBMS보다 복잡도가 떨어져, 훨씬 대용량의 데이터를 저장,관리 할 수 있다.
- 테이블에 스키마가 정해져있지 않아 데이터 저장이 비교적 자유롭다.
- 언제든 저장된 데이터를 조정하고 새로운 필드를 추가 할 수있다.
- 데이터 분산이 용이하며 성능 향상을 위한 Scale-Up뿐 아닌 Scale-Out 또한 가능하다.
- 단점
- Key값에 대한 입,출력만 지원
- 스키마가 정해져 있지 않아, 데이터에대한 규격화가 되어있지 않다.
- Data를 UPDATE하는 속도가 비교적 느리다.
- 데이터 중복이 발생할 수 있으며 중복된 데이터가 변경 될 경우 수정을 모든 컬렉션에서 수행 해야함.
- 장점
데이터베이스 언어 (DDL,DML,DCL)
DDL ( 정의어 : Data Definition Language )
- 데이터베이스 구조를 정의,수정,삭제하는 언어
- schema, domain, table, view, index를 정의, 변경, 삭제할 때 사용하는 언어입니다.
- 이 명령은 자동 커밋됩니다. 즉, 데이터베이스의 DDL 명령에 의해 수행 된 변경 사항이 영구적으로 저장됩니다.
- ALTER , CREATE , DROP
DML ( 조작어 : Data Manipulation Language )
- 데이터베이스내의 데이터 검색,삽입,갱신,삭제를 위한 언어
- SELECT , INSERT , UPDATE , DELETE
DCL ( 제어어 : Data Control Language )
- 데이터에 대해 무결성유지, 병행 수행 제어, 보호와 관리를 위한 언어
- 데이터를 사용하기위한 액세스 권한 취소와 같이 데이터베이스에서 데이터의 가시성을 제어하는 데 사용
- COMMIT , ROLLBACK , GRANT , REVOKE
트랜잭션 ( Transaction ) ACID , DB 락
- 트랜잭션이란 여러작업들을 하나로 묶은 단위입니다. 한 덩어리의 작업들은 모두 실행되거나, 실행되지 않습니다. (all-or-nothing)
- 하나의 트랜잭션은 Commit(작업완료)되거나 Rollback(취소)됩니다.
- 트랜잭션은 작업의 완전성을 보장해줍니다.
트랜잭션의 상태
- 활동 ( Active )
- 트랜잭션이 실행중에 있는 상태, 연산들이 정상적으로 실행중인 상태
- 장애 ( Failed )
- 트랜잭션이 실행에 오류가 발생하여 중단된 상태
- 철회 ( Aborted )
- 트랜잭션이 비정상적으로 종료되어 RollBack 연산을 수행한 상태
- 부분 완료 ( Partially Committed )
- 트랜잭션이 마지막 연산까지 실행했지만, Commit 연산이 실행되기 직전의 상태
- 완료 ( Commited )
- 트랜잭션이 성공적으로 종료되어 Commit 연산을 실행한 후의 상태.
ACID
데이터베이스 내에서 일어나는 하나의 트랜잭션(transaction)의 안전성을 보장하기 위해 필요한 성질
- Atomicity( 원자성 )
- 모든 작업이 반영되거나 모두 롤백되는 특성, 처리 중간에 중단되지 않는 것을 보장
- Consistency( 일관성 )
- 일관성은 데이터베이스의 상태가 일관되어야 한다는 성질이다.
- 일관성은 하나의 트랜잭션 이전과 이후, 데이터베이스의 상태는 이전과 같이 유효해야 한다.
- 다시 말해, 트랜잭션이 일어난 이후의 데이터베이스는 데이터베이스의 제약이나 규칙을 만족해야 한다는 뜻이다.
- Isolation ( 격리성 )
- 실제로 동시에 여러 개의 트랜잭션들이 수행될 때, 각 트랜젝션은 고립(격리)되어 있어 연속으로 실행된 것과 동일한 결과를 나타낸다.
- 격리성은 모든 트랜잭션은 다른 트랜잭션으로부터 독립되어야 한다는 뜻이다.
- Durability ( 영구성 )
- 한번 반영(커밋)된 트랜잭션의 내용은 영원히 적용되는 특성을 의미
DB 락
데이터베이스는 여러 사용자들이 같은 데이터를 동시에 접근하는 상황에서, 데이터의 무결성과 일관성을 지키기 위해 락을 사용합니다.
DB Lock은 트랜잭션 처리의 순차성을 보장하기 위한 방법입니다.
- 공유락 ( S Shared Lock )
- Read Lock이라고도 하는 공유락은 트랜잭션이 읽기를 할 때 사용하는 락이며, Shared의 앞 글자를 따서 주로 S로 표기합니다. 여러 사용자가 동시에 데이터를 읽어도 데이터의 일관성에는 아무런 영향을 주지 않기 때문에, 공유 락끼리는 동시에 접근이 가능합니다.
- 베타락 ( X Exclusive Lock )
- Write Lock이라고도 하는 베타락은 데이터를 변경할 때 사용하는 락입니다. 베타 락은 이름처럼 다른 세션이 해당 자원에 접근(ex, SELECT, INSERT..) 하는 것을 막습니다. 이러한 점에서 베타 락은 멀티 쓰레딩 환경에서, 임계 영역을 안전하게 관리하기 위해 활용되는 뮤텍스와 유사하다고 볼 수 있습니다. 베타 락은 트랜잭션 동안 유지됩니다.
- 업데이트 락 ( Update Lock )
- 데이터를 수정하기 위해 베타락 (X)을 걸기 전 , 데드 락을 방지하기 위해 사용되는 락입니다. 일반적으로 업데이트 락은 UPDATE 쿼리의 필터(WHERE)가 실행되는 과정에서 적용됩니다.
- 서로 다른 트랜잭션에서 동일한 자원에 대해 읽기 쿼리 이후, 업데이트 쿼리를 적용하는 경우 컨버젼 데드락이 발생하는데, 이를 막기 위해 일부 SELECT 쿼리에서도 업데이트 락을 적용(WITH(UPDLOCK))하기도합니다.
- 내재 락 ( Intent Lock )
- 내재 락은 사용자가 요청한 범위에 대한 락(ex, 테이블 락)을 걸 수 있는지 여부를 빠르게 파악하기 위해 사용되는 락입니다. 내재 락은 공유락과 베타락 앞에 I기호를 붙인 IS,IX,SIX 등이 있습니다.
Lock Escalation
- 하나의 로우에 대해 락을 생성하면, 상위 객체들에 대한 내재 락들이 함께 생성됩니다.
- 그러나 락은 많은 메모리 자원을 필요로 합니다. 따라서 많은 데이터베이스들은 테이블 내의 일정 비율 이상의 로우에 대한 락을 생성할 경우, 모든 로우에 대해 락을 생성하는 대신, 더 상위 객체인 테이블에만 락을 걸도록 하여 메모리 사용을 최적화하는 기능을 지원, 이러한 데이터베이스의 기능을 Lock Esclation이라고 한다,
SQL Injection
SQL Injection 이란 악의적인 사용자가 보안상의 취약점을 이용하여, 임의의 SQL 문을 주입하고 실행되게 하여 데이터베이스가 비정상적인 동작을 하도록 조작하는 행위 입니다. 인젝션 공격은 OWASP Top10 중 첫 번째에 속해 있으며, 공격이 비교적 쉬운 편이고 공격에 성공할 경우 큰 피해를 입힐 수 있는 공격입니다.
공격 종류 및 방법
- 논리적 에러를 이용한SQL Injection ( Error based SQL Injection )
- Union 명령어를 이용한 SQL Injection
- Boolean based SQL
- Time based SQL
- 저장된 프로시저 에서의 SQL Injection
- 다량의 SQL Injection 공격
대응 방안
- 입력 값에 대한 검증
- Prepared Statement 구문사용
- Error Message 노출 금지
- 웹 방화벽의 사용
트리거
트리거란 녀석은 테이블에 INSERT 나 UPDATE 또는 DELETE 작업이 발생되면 자동으로 실행되는 코드를 말합니다. 여기서 중요한 점은 자동으로 실행 된다는 것입니다.
어떤 트랜잭션이 일어나면 거기에 반응해서 다른 명령을 실행하게 하는 기능을 하는 것이 트리거 입니다.
자동으로 삭제 작업이 일어날 경우 삭제 되기 전에 미리 다른 곳에 삭제될 데이터를 자동으로 저장해 주는 기능 이 대표적인 트리거(TRIGGER)의 사용 용도 입니다.
대표적인 예로 구글의 비밀번호를 최근 비밀번호 대신 이전의 비밀번호로 쳐보세요 !
몇개월 전에 변경 되었다고 나오는 것 또한 트리거의 사용에 대한 예가 될 수 있죠.
장점
- 데이터 무결성 강화 (참조 무결성)
- 업무 규칙의 설정
- 검사 기능의 확장
단점
- 유지보수의 어려움
- 예상치 못한 오류를 유발할 수 있음
DB의 검색이아닌 검색엔진사용하는 이유
- 관계형 데이터베이스는 단순 텍스트매칭에 대한 검색만을 제공,
- MySQL최신 버전에서는 n-gram 기반의 Full-text검색을 지원하지만 , 한글검색의 경우는 아직 많이 부족,
- 텍스트를 여러 단어로 변형하거나 텍스트의 특징을 이용한 동의어나 유의어를 활용한 검색이가능
- 검색엔진에서는 관계형 데이터베이스에서 불가능한 비정형 데이터의 색인과 검색이 가능
- 이러한 특성은 빅데이터 처리에서 매우 중요하게 생각되는 부분입니다.
- 검색엔진에서는 형태소 분석을 통한 자연어 처리가 가능.
- ex) 엘라스틱 서치에서는 다양한 형태소 분석 플러그인을 제공합니다.
- 역색인 지원으로 매우 빠른 검색이 가능