본문으로 이동

이미지 스케일링

한울위키, 우리 모두의 백과사전.
파일:2xsai example.svg
최근접 이웃 스케일링으로 스케일링된 이미지(왼쪽)와 2×SaI으로 스케일링된 이미지(오른쪽)

컴퓨터 그래픽스와 디지털 이미징에서 이미지 스케일링(image scaling)은 디지털 이미지의 크기 조절을 의미한다. 비디오 기술에서 디지털 재료의 확대는 업스케일링(upscaling)으로 부른다.

벡터 그래픽 이미지를 스케일링할 때 이미지를 구성하는 그래픽 원시 데이터들은 기하학적 변형을 사용하여 스케일링이 가능하며 이미지 품질 소실이 발생하지 않는다. 래스터 그래픽스 이미지를 스케일링할 때 더 높거나 더 낮은 수의 화소를 갖춘 새 이미지의 생성이 필요하다. 화소수를 줄이는 경우 보이는 품질의 하락이 발생하는 것이 일반적이다. 디지털 신호 처리 관점에서 래스터 그래픽스의 스케일링은 샘플레이트 변환의 2차원적인 예시이다.

수학적 측면

이미지 스케일링은 나이퀴스트 표본화 정리의 관점에서 이미지 재표본화 또는 이미지 재구축의 한 형태로 해석될 수 있다. 이 정리에 따르면, 에일리어싱 현상을 방지하기 위해 적절한 2D 위신호 제거 필터를 적용한 후에야 고해상도 원본에서 더 작은 이미지로 다운샘플링을 수행할 수 있다. 이미지는 더 작은 이미지가 전달할 수 있는 정보로 축소된다.

업샘플링의 경우, 재구축 필터가 위신호 제거 필터를 대체한다.

업스케일링에 대한 보다 정교한 접근 방식은 문제를 역문제로 다루며, 축소되었을 때 입력 이미지와 같이 보이는 그럴듯한 이미지를 생성하는 질문을 해결한다. 이를 위해 정칙화 항을 포함하는 최적화 기법과 예제를 통한 기계 학습 사용 등 다양한 기술이 적용되었다.

알고리즘

 이미지 스케일링 알고리즘 비교 갤러리 문서를 참고하십시오.

이미지 크기는 여러 가지 방법으로 변경할 수 있다.

최근접 이웃 보간법

이미지 크기를 늘리는 더 간단한 방법 중 하나는 최근접 이웃 보간법으로, 모든 픽셀을 출력에서 가장 가까운 픽셀로 대체하는 것이다. 업스케일링의 경우, 이는 동일한 색상의 여러 픽셀이 존재함을 의미한다. 이 방법은 선명한 디테일을 유지할 수 있지만, 이전에 부드러웠던 이미지에 들쭉날쭉함을 유발할 수도 있다. 최근접 이웃의 '최근접'은 수학적인 최근접일 필요는 없다. 일반적인 구현은 항상 0에 가깝게 반올림하는 것이다. 이 방식의 반올림은 아티팩트를 줄이고 계산 속도가 빠르다.

이 알고리즘은 부드러운 가장자리가 거의 없는 이미지에 자주 선호된다. 일반적인 적용 사례는 픽셀 아트에서 찾을 수 있다.

쌍선형 및 쌍입방 보간법

쌍선형 보간법은 픽셀 색상 값을 보간하여, 원본에 이산적인 전환이 있는 경우에도 출력에 연속적인 전환을 도입한다. 연속적인 톤 이미지에는 바람직하지만, 이 알고리즘은 대비 (선명한 가장자리)를 감소시켜 라인 아트에는 바람직하지 않을 수 있다. 쌍입방 보간법은 계산 비용이 증가하지만 훨씬 더 나은 결과를 제공한다.

싱크(Sinc) 및 란초스(Lanczos) 리샘플링

싱크 리샘플링은 이론적으로 완벽하게 대역 제한된 신호에 대해 가능한 최상의 재구성을 제공한다. 실제로는 싱크 리샘플링의 기본 가정은 실제 디지털 이미지에 의해 완전히 충족되지 않는다. 싱크 방법의 근사치인 란초스 리샘플링은 더 나은 결과를 제공한다. 쌍입방 보간법은 란초스 리샘플링에 대한 계산 효율적인 근사치로 간주될 수 있다.

상자 샘플링

쌍선형, 쌍입방 및 관련 알고리즘의 한 가지 약점은 특정 수의 픽셀을 샘플링한다는 것이다. 모든 이중 샘플링 알고리즘에 대해 두 배 이상과 같이 특정 임계값 이하로 다운스케일링할 때, 알고리즘은 인접하지 않은 픽셀을 샘플링하여 데이터 손실과 거친 결과를 초래한다.

이 문제에 대한 간단한 해결책은 상자 샘플링으로, 대상 픽셀을 원본 이미지의 상자로 간주하고 상자 안의 모든 픽셀을 샘플링하는 것이다. 이렇게 하면 모든 입력 픽셀이 출력에 기여하게 된다. 이 알고리즘의 주요 약점은 최적화하기 어렵다는 것이다.

밉맵

이중 샘플링 스케일링의 다운스케일 문제에 대한 또 다른 해결책은 밉맵이다. 밉맵은 미리 스케일링된 다운스케일 복사본 세트이다. 다운스케일링할 때 가장 가까운 더 큰 밉맵이 원본으로 사용되어 쌍선형 스케일링의 유용한 임계값 이하로 스케일링되지 않도록 한다. 이 알고리즘은 빠르고 최적화하기 쉽다. OpenGL과 같은 많은 프레임워크에서 표준이다. 비용은 더 많은 이미지 메모리를 사용한다는 점인데, 표준 구현에서는 정확히 3분의 1 더 사용한다.

푸리에 변환 방법

푸리에 변환에 기반한 단순 보간은 주파수 영역에 0개 구성 요소를 채운다(링잉 현상을 줄이기 위해 부드러운 창 기반 접근 방식이 사용될 수 있다). 세부 정보의 우수한 보존(또는 복구) 외에도, 링잉 현상과 왼쪽 경계에서 오른쪽 경계(및 그 반대)로 내용이 원형으로 번지는 현상이 두드러진다.

에지 지향 보간법

에지 지향 보간 알고리즘은 스케일링 후 이미지의 가장자리를 보존하는 것을 목표로 한다. 이는 계단 현상을 유발할 수 있는 다른 알고리즘과 다르다.

이 작업을 위한 알고리즘의 예로는 NEDI(New Edge-Directed Interpolation),[1][2] EGGI(Edge-Guided Image Interpolation),[3] 반복 곡률 기반 보간법 (ICBI),[4] 및 방향성 삼차 컨볼루션 보간법 (DCCI)이 있다.[5] 2013년 분석에 따르면 DCCI는 일련의 테스트 이미지에서 최대 신호 대 잡음비와 구조적 유사성에서 가장 좋은 점수를 받았다.[6]

hqx

낮은 해상도 및 적은 색상(일반적으로 2~256색)의 컴퓨터 그래픽스를 확대할 경우, hqx 또는 기타 픽셀 아트 스케일링 알고리즘을 통해 더 나은 결과를 얻을 수 있다. 이들은 선명한 가장자리를 생성하고 높은 수준의 세부 정보를 유지한다.

벡터화

벡터 추출, 즉 벡터화는 또 다른 접근 방식을 제공한다. 벡터화는 먼저 스케일링할 그래픽의 해상도 독립적인 벡터 표현을 생성한다. 그런 다음 해상도 독립적인 버전을 원하는 해상도의 래스터 이미지로 렌더링한다. 이 기술은 어도비 일러스트레이터, Live Trace 및 잉크스케이프에서 사용된다.[7] 스케일러블 벡터 그래픽스는 단순한 기하학적 이미지에 적합하지만, 사진은 복잡성 때문에 벡터화에 잘 맞지 않는다.

심층 합성곱 신경망

이 방법은 사진 및 복잡한 예술 작품과 같은 상세한 이미지에 기계 학습을 사용한다. 이 방법을 사용하는 프로그램에는 Waifu2x, Imglarger 및 Neural Enhance가 있다.

에블린 드 모르강의 포스포로스와 헤스페루스 세부 이미지를 이용한 기존 방식과 Waifu2x의 노이즈 감소 업스케일링 시연. [전체 크기 이미지를 보려면 클릭]

MyHeritage Photo Enhancer와 같은 AI 기반 업스케일링 소프트웨어는 원본에 존재하지 않는 세부 정보와 선명도를 역사적인 사진에 추가할 수 있다.

AI 업스케일링 도구의 등장은 흐릿한 이미지의 업스케일링 버전이 원본 사진의 주제를 실제로 보여준다고 믿는 혼란을 야기했다.[8]

응용

일반

이미지 스케일링은 웹 브라우저,[9] 이미지 편집기, 이미지 및 파일 뷰어, 소프트웨어 확대경, 디지털 줌, 썸네일 이미지 생성 과정, 그리고 화면이나 프린터를 통해 이미지를 출력할 때 등 다양한 응용 분야에서 사용된다.

비디오

이 응용 분야는 예를 들어 DVD 플레이어에서 PAL 해상도 콘텐츠를 HDTV 지원 출력 장치용으로 홈 시어터용 이미지 확대이다. 업스케일링은 실시간으로 수행되며 출력 신호는 저장되지 않는다.

픽셀 아트 스케일링

 이 부분의 본문은 픽셀 아트 스케일링 알고리즘입니다.

픽셀 아트 그래픽은 일반적으로 저해상도이기 때문에 개별 픽셀을 신중하게 배치하며 종종 제한된 색상 팔레트를 사용한다. 그 결과, 복잡한 모양을 정의하기 위해 양식화된 시각적 단서에 의존하는 그래픽이 만들어지며, 해상도는 개별 픽셀까지 내려간다. 이로 인해 픽셀 아트 스케일링은 특히 어려운 문제가 된다.

기존 스케일링 알고리즘은 시각적 단서를 고려하지 않기 때문에 픽셀 아트 그래픽을 처리하기 위한 특수 알고리즘[10]이 개발되었다.

일반적인 응용은 4세대 및 이전 비디오 게임의 아케이드 및 콘솔 에뮬레이터에서 외관을 개선하는 것이므로, 많은 알고리즘이 작은 입력 이미지에 대해 초당 60프레임으로 실시간으로 실행되도록 설계되었다.

빠른 하드웨어에서 이러한 알고리즘은 게임 및 기타 실시간 이미지 처리에 적합하다. 이 알고리즘은 흐림을 최소화하면서 선명하고 깨끗한 그래픽을 제공한다. 스케일링 아트 알고리즘은 HqMAME 및 도스박스와 같은 광범위한 에뮬레이터뿐만 아니라 2D 게임 엔진 및 게임 엔진 재구현 (예: 스컴VM)에 구현되었다. 이러한 기술은 1980년대와 1990년대 게임 경험의 부활을 장려하여 게이머들에게 인정을 받았다.

이러한 필터는 현재 Xbox Live, 버추얼 콘솔 및 PSN의 상업용 에뮬레이터에서 고전 저해상도 게임을 최신 HD 디스플레이에서 시각적으로 더 매력적으로 보이도록 사용된다. 이러한 필터를 통합한 최근 출시된 게임에는 소닉의 얼티밋 제네시스 컬렉션, 캐슬바니아: 더 드라큘라 X 크로니클즈, 캐슬바니아: 밤의 교향곡 및 악마성 드라큘라 X 월하의 야상곡이 있다.

실시간 스케일링

많은 회사들이 비디오 게임에서 화면에 그려질 때와 같이 실시간으로 비디오 프레임을 업스케일링하는 기술을 개발했다. 엔비디아의 딥 러닝 슈퍼 샘플링 (DLSS)은 딥 러닝을 사용하여 낮은 이미지 해상도 이미지를 더 높은 해상도로 업샘플링하여 고해상도 컴퓨터 모니터에 표시한다.[11] AMD의 FidelityFX 슈퍼 해상도 1.0 (FSR)은 기계 학습을 사용하지 않고 기존의 수동 작성 알고리즘을 사용하여 전통적인 셰이딩 유닛에서 공간 업스케일링을 달성한다. FSR 2.0은 다시 수동으로 튜닝된 알고리즘으로 시간적 업스케일링을 사용한다. FSR 표준 프리셋은 강제되지 않으며, 도타 2와 같은 일부 타이틀은 해상도 슬라이더를 제공한다.[12] 다른 기술로는 인텔 XeSS와 엔비디아 이미지 스케일러 (NIS)가 있다.[13][14] 무손실 스케일링은 스케일링을 위해 전용 GPU를 허용하며, 이는 데스크톱 PC에서 여러 GPU 사용이 중단된 것의 연속이다.[15]

같이 보기

각주

  1. ↑ “Edge-Directed Interpolation”. 2016년 2월 19일에 확인함. 
  2. ↑ Xin Li; Michael T. Orchard. 《NEW EDGE DIRECTED INTERPOLATION》 (PDF). 《2000 IEEE International Conference on Image Processing》. 311쪽. 2016년 2월 14일에 원본 문서 (PDF)에서 보존된 문서. 
  3. ↑ Zhang, D.; Xiaolin Wu (2006). 《An Edge-Guided Image Interpolation Algorithm via Directional Filtering and Data Fusion》. 《IEEE Transactions on Image Processing》 15. 2226–38쪽. Bibcode:2006ITIP...15.2226Z. doi:10.1109/TIP.2006.877407. PMID 16900678. S2CID 9760560. 
  4. ↑ “ImagezO Image Resizer”. 2025년 1월 11일. 2025년 1월 28일에 확인함. 
  5. ↑ Dengwen Zhou; Xiaoliu Shen. “Image Zooming Using Directional Cubic Convolution Interpolation”. 2016년 2월 25일에 원본 문서에서 보존된 문서. 2015년 9월 13일에 확인함. 
  6. ↑ Shaode Yu; Rongmao Li; Rui Zhang; Mou An; Shibin Wu; Yaoqin Xie (2013). “Performance evaluation of edge-directed interpolation methods for noise-free images”. arXiv:1303.6455 [cs.CV]. 
  7. ↑ Johannes Kopf and Dani Lischinski (2011). 《Depixelizing Pixel Art》. 《ACM Transactions on Graphics》 30. 99:1–99:8쪽. doi:10.1145/2010324.1964994. 2015년 9월 1일에 원본 문서에서 보존된 문서. 2012년 10월 24일에 확인함. 
  8. ↑ Growcoot, Matt (2025년 9월 5일). “Trump Photo Shows The Perils of AI Upscaling Tools” (영어). 《PetaPixel》. 2025년 10월 12일에 확인함. 
  9. ↑ Analysis of image scaling algorithms used by popular web browsers
  10. ↑ “Pixel Scalers”. 2016년 2월 19일에 확인함. 
  11. ↑ “NVIDIA DLSS: Your Questions, Answered” (미국 영어). 《www.nvidia.com》. 2021년 10월 5일에 원본 문서에서 보존된 문서. 2021년 10월 13일에 확인함. 
  12. ↑ “Valve's Dota 2 Adds AMD FidelityFX Super Resolution - Phoronix”. 《www.phoronix.com》. 2021년 7월 21일에 원본 문서에서 보존된 문서. 2021년 10월 13일에 확인함. 
  13. ↑ Gartenberg, Chaim (2021년 8월 19일). “Intel shows off its answer to Nvidia's DLSS, coming to Arc GPUs in 2022” (영어). 《The Verge》. 2021년 8월 19일에 원본 문서에서 보존된 문서. 2021년 10월 13일에 확인함. 
  14. ↑ “What Is Nvidia Image Scaling? Upscaling Tech, Explained” (영어). 《Digital Trends》. 2021년 11월 16일. 2021년 12월 3일에 확인함. 
  15. ↑ Toasty Bros (2025년 10월 9일). 《Gaming on TWO GPUs in 2025 is EASY & AWESOME》. 2025년 11월 3일에 확인함 – YouTube 경유. 
원본 주소 "https://www.hanul.wiki/w/index.php?title=이미지_스케일링&oldid=1698512"