유니코드 , 아스키코드 ( Unicode , ASCII )

안녕하세요! 오늘은 문자열과 문자 글에서 작성을 미뤄두었던 유니코드에 관련하여 정리를 해보려고 합니다.

추가적으로 아스키코드까지도 열심히 정리해보겠습니다!! 🤜

 

📚참고자료 및 링크

Strings and Characters — The Swift Programming Language (Swift 5.7)

 

---

 

유니코드와 아스키코드를 정리하기 앞서 2진법에 대해서 알아보겠습니다.

2진법은 오직 0과 1로만 데이터를 표현합니다.

컴퓨터는 정보를 표현하기 위한 기본 원리로는 전기 신호입니다. 컴퓨터에는 굉장히 많은 스위치 ( 트랜지스터 )가 있습니다.

트랜지스터를 사용하여 전기 신호가 있으면 '1' 없으면 '0' 두 가지 경우로 표현합니다.

컴퓨터는 2진법에서 하나의 자릿수를 표현하는 단위를 비트 ( bit )라고 합니다.

비트 한 개로는 많은 양의 데이터를 나타내기에 부족하여 여러 숫자 조합을 컴퓨터에 나타내기 위해 비트열을 사용합니다.

바이트( byte )라고 불립니다. 바이트는 8개의 비트가 모여 만들어진 것입니다.

비트는 하나의 0과 1로 표현할 수 있기 때문에 2⁸ = 256개의 서로 다른 바이트가 존재할 수 있습니다.

 

 

문자를 숫자로 표현할 수 있도록 정해진 약속(표준)이 있습니다!!!

그중 하나는 미국 정보교환 표준 부호인 ASCII ( 아스키코드 / American Standard Code for Information Interchange )

 

아스키코드 ( ASCII )

총 128개의 부호로 정의 되어있습니다. 알파벳 A는 10진수 기준으로 65으로 되어 있습니다.

A를 2진법으로 표현하면 10진법 기준으로 65이므로 𝟐⁶ × 1 + 𝟐⁵ × 0 + 𝟐⁴ × 0 + 𝟐³ × 0 +𝟐² × 0 + 𝟐¹ × 0 + 𝟐⁰ × 1 =  ( 64 + 1 )로 표현할 수 있습니다. A를 2진법으로 표현하면 1000001입니다.

하지만 아스키코드는 8비트의 데이터를 사용한다고 했는데 계산한 값과 사진의 수는 7자리입니다. 🤔

나머지 한 자리는 패리티 비트 ( parity bit )라고 불립니다. 데이터의 에러를 탐지하기 위해 사용됩니다.

패리티 비트 ( parity bit ) : 정보전달 과정에서 오류 발생 여부를 검사하기 위해 추가된 비트이며 전송하고자 하는 데이터의 끝에 1비트를 추가하여 전송합니다. 

 

패리트 비트는 홀수 , 짝수 비트로 분류합니다.

전송하고자 하는 Data의 1의 개수가 짝수면 0  1의 개수가 홀수면 1로 보냅니다.

이러한 패리티 비트로는 오류 검출만 가능할 뿐 오류를 수정할 수 없다는 단점이 있습니다.

잘못된 곳을 찾기 위해서는 해밍 코드를 활용해야 됩니다.

해밍 코드 관련해서는 천천히 CS지식 정리 카테고리에 글을 작성해보도록 하겠습니다!!!📚

 

아스키코드의 문제점

아스키코드 표에는 영어만 존재합니다. 아스키코드표가 만들어질 시기에는 영어권 사람들만 주로 컴퓨터를 사용하여 시간이 지나면서 다양한 여러 나라에서 컴퓨터를 사용하게 되어 많은 표현을 할 수 있도록 다양한 표준들이 생기게 되었습니다.

▶︎ 이 많은 표준들을 하나로 합칠 새로운 기준이 필요해져 유니코드가 등장하게 되었습니다.

 

유니코드 ( Unicode )

전 세계의 언어의 문자를 정의하기 위한 국제 표준 코드가 등장하였습니다. 1바이트로 부족하여 확장한 2바이트 𝟐¹⁶ = 65,536를 사용하게 됩니다. 유니코드에서도 문제점이 발생합니다. 영어로 표현할 땐 1바이트 한글 표현 시 2바이트 다른 특수문자 표현 시 3바이트 등 문자마다 가변적인 표현의 문제가 생깁니다. 문자마다 표현의 문제로 인해 컴퓨터가 혼란을 주어 어떤 문자로 읽을지 정해줘야 합니다.

유니코드 인코딩 방식 등등 요론 정보들은 따로 글로 정리할 예정입니다!!

 

문자열과 문자에서 사용되는 유니코드에 대해 정리를 본격적으로 시작해볼게요ㅎㅎ

 

문자열 리터럴의 특수문자

문자열 리터럴은 특수 문자를 포함할 수 있습니다.

let wiseWords = "\"Imagination is more important than knowledge\" - Einstein"
// "Imagination is more important than knowlege" - Einstein
let dollaSign = "\u{24}"            // $, 유니코트 U+0024
let blackHeart = "\u{2665}"         // ♥, 유니코드 U+2665
let sparklingHeart = "\u{1F496}" // 💖,유니코드 U+1F496

\u { n } : n은 1-8자리 16진수 형태로 구성된 유니코드입니다.

 

유니코드 스칼라

Swift의 네이티브 문자열 타입은 유니코드 스칼라 값으로 만들어졌습니다. 크기가 가변적인 String 문자열을 하나씩 개별적으로 접근하기 위한 방법입니다. 유니코드는 21비트의 숫자로 구성되어있으며 하나 이상의 유니코드 스칼라가 모여 Character를 만듭니다.  

 

ex) U+0061는 라틴어의 소문자 a를 나타내고 U+1F425는 정면의 병아리를

 

유니코드를 결합해서 사용할 수 있습니다.

  let precomposed: Character = "\u{D55C}"                        // 한
  let decomposed: Character = "\u{1112}\u{u1161}\u{11AB}"    // ㅎ, ㅏ,ㄴ
  // precomposed : 한, decomposed 한

 

유니코드 문자열과 문자 비교

유니코드는 결합된 문자열을 갖고 비교하게 됩니다.

// "Voulez-vous un café?" using LATIN SMALL LETTER E WITH ACUTE
let eAcuteQuestion = "Voulez-vous un caf\u{E9}?"

// "Voulez-vous un café?" using LATIN SMALL LETTER E and COMBINING ACUTE ACCENT
let combinedEAcuteQuestion = "Voulez-vous un caf\u{65}\u{301}?"

if eAcuteQuestion == combinedEAcuteQuestion {
    print("These two strings are considered equal")
}
// These two strings are considered equal 출력

같은 유니코드 문자여도 유니코드가 다르면 다른 문자로 판별합니다.

let latinCapitalLetterA: Character = "\u{41}"

let cyrillicCapitalLetterA: Character = "\u{0410}"

if latinCapitalLetterA != cyrillicCapitalLetterA {
    print("These two characters are not equivalent.")
}
// Prints "These two characters are not equivalent."

※  Swift에서 문자열과 문자의 비교는 언어를 고려하지 않습니다. 언어와 상관없이 같은 문자면 같은 문자로 취급합니다.

 

문자열의 유니코드 표현

유니코드 문자가 텍스트 파일이나 다른 저장소에 쓰일 때 유니코드 스칼라는 UTF-8 , UTF-16, UTF-32등 다양한 유니코드 인코딩 방식이 사용됩니다.

let dogString = "Dog!!🐶"

 

UTF - 8 표현

for codeUnit in dogString.utf8 {
    print("\(codeUnit) ", terminator: "")
}
print("")
// 68 111 103 226 128 188 240 159 144 182

 

UTF - 16 표현

for codeUnit in dogString.utf16 {
    print("\(codeUnit) ", terminator: "")
}
print("")
// 68 111 103 8252 55357 56374

 

유니코드 스칼라 표현

for scalar in dogString.unicodeScalars {
    print("\(scalar.value) ", terminator: "")
}
print("")
// 68 111 103 8252 128054



for scalar in dogString.unicodeScalars {
    print("\(scalar) ")
}
// D
// o
// g
// !!
// 🐶

 

---

 

유니코드와 아스키코드에 관련하여 정리하면서 몰랐던 부분에 대해서 정리할 시간이 되었습니다. 

뿐만 아니라 다른 CS지식들을 다른 카테고리로 묶어 하나씩 정리해볼 생각입니다. 

 

↓ 정리하면서 모르는 정보들을 찾아봤던 블로그들입니다!!

https://velog.io/@kim-jaemin420/ASCII-Unicode-%EC%95%84%EC%8A%A4%ED%82%A4%EC%BD%94%EB%93%9C%EC%99%80-%EC%9C%A0%EB%8B%88%EC%BD%94%EB%93%9C

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=ansdbtls4067&logNo=220886661657

https://devuna.tistory.com/31

https://velog.io/@haze5959/Swift-Unicode-Scalar-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EB%AC%B8%EC%9E%90%EC%97%B4-count-%EC%8B%9C%EA%B0%84-%EB%B3%B5%EC%9E%A1%EB%8F%84-%EA%B4%80%EA%B3%84