본문 바로가기

위데이터랩 도서/야사와 만화로 배우는 인공지능

[인공지능 만화] 3-7. 고흐가 "모나리자"를 그렸다면? 뉴럴 스타일 트랜스퍼

내가 찍은 사진을 고흐가 그린 작품처럼 만들 수 있다면?

이런 상상을 현실로 만들어준 사이트가 있습니다. 바로 Deepart.io 입니다.

아래 이미지는 Deepart.io 사이트를 통해서 레오나르도 다 빈치의 작품 「모나리자」를 약간 변형한 것입니다. 혹시 빈센트 반 고흐의 유명한 작품인 「별이 빛나는 밤」이 생각나지 않으시나요?

이렇게 「별이 빛나는 밤」작품 스타일을 「모나리자」 작품의 콘텐츠에 적용시키는 기술을 ' 뉴럴 스타일 트랜스퍼'라고 합니다.

다시 말해, 원본의 콘텐츠와 스타일을 분리한 후 다른 작품의 콘텐츠에 스타일을 재결합해 새로운 이미지를 만들어내는 기법이죠.

뉴럴 스타일 트랜스퍼 다음과 같이 작동합니다.

①style image가 conv 레이어들을 거쳐 나온 feature map의 각 채널별 특징의 상관관계 값

->스타일 Loss값

② content image가 conv4 레이어를 거쳐 나온 feature map의 차이

->콘텐츠 Loss값

③위 두 Loss 값이 작아지도록 학습하여 새로운 이미지를 만들었다.

뉴럴 스타일 트랜스퍼는 2015년 리온 게티스 등에 의해 논문 '예술적 스타일의 신경 알고리즘'을 통해 소개되었습니다.

이 논문은 리온 게티스가 독일 튀빙겐 대학의 박사 과정 도중 발표한 것입니다.

Deep CNN에 대해 연구하는 과정에서 예술작품의 스타일과 콘텐츠가 Deep CNN으로 분리될 수 있음을 발견한 것이죠.

그렇게 분리된 스타일을 다른 이미지에 결합시켜보면 어떨까?하는 아이디어에서 뉴럴 스타일 트랜스퍼(NST) 기술이 등장하게 된 것이랍니다.

뉴럴 스타일 트랜스퍼를 시작으로 AI를 통한 예술 작품 창작 알고리즘에 대한 연구가 뜨거워졌습니다. 이미지를 레이어로 학습시키고 변형하는 것만으로도 재미있는 예술 창작을 할 수 있으니 말이죠!

이미지의 스타일을 바꿈으로써 예쑬 창작 영역에 도전하고 있는 뉴럴 스타일 트랜스퍼!

리온 케티스는 언젠가 컴퓨터가 "따뜻하고 역동적인 이미지를 만들어줘"라는 주문에 대학 작품을 창작할 수 있을 것이라 믿고 있습니다.

 

(출처)

https://ssungkang.tistory.com/entry/%EB%94%A5%EB%9F%AC%EB%8B%9DNeural-Style-Transfer

 

[딥러닝]Neural Style Transfer

Intro 사진을 찍던 중 사진의 스타일을 바꿀 수 있는 걸 보고 새삼스럽게 든 생각. 이건 어떻게 구현하지? 그래서 이를 한 번 구현해보고자 하였습니다, 이에 대해서 찾아보니 이름은 뉴럴 스타일

ssungkang.tistory.com

https://blog.neuromag.net/2017/03/13/deepart/

 

Creating artwork with an algorithm: an interview with Leon Gatys

Leon Gatys is a PhD student in the lab of Prof. Matthias Bethge at the Centre for Integrative Neuroscience in Tübingen. In his PhD work, he uses deep convolutional neural networks, computational algorithms inspired by our knowledge of how the visual corte

blog.neuromag.net

https://arxiv.org/abs/1508.06576

 

A Neural Algorithm of Artistic Style

In fine art, especially painting, humans have mastered the skill to create unique visual experiences through composing a complex interplay between the content and style of an image. Thus far the algorithmic basis of this process is unknown and there exists

arxiv.org

https://towardsdatascience.com/breaking-down-leon-gatys-neural-style-transfer-in-pytorch-faf9f0eb79db

 

Breaking Down Leon Gatys’ Neural Style Transfer in PyTorch

In 2015 Leon Gatys et al. proposed a method for Neural Style Transfer in their paper “A Neural Algorithm of Artistic Style”…

towardsdatascience.com

https://en.wikipedia.org/wiki/Neural_Style_Transfer

 

Neural Style Transfer - Wikipedia

From Wikipedia, the free encyclopedia Jump to navigation Jump to search Type of software algorithm for image manipulation Neural Style Transfer (NST) refers to a class of software algorithms that manipulate digital images, or videos, in order to adopt the

en.wikipedia.org

http://bethgelab.org/research/machine_learning/style_transfer/

 

BETHGE LAB · Style Transfer

Neural Style Transfer We developed Neural Style Transfer, an algorithm based on deep learning and transfer learning that allows us to redraw a photograph in the style of any arbitrary painting with remarkable quality (Gatys, Ecker, Bethge, CVPR 2016, Gatys

bethgelab.org

 

http://www.pulse9studio.com/PaintlyFX/?idx=2819992&bmode=view


적송 권건우 

https://blog.naver.com/redpine71 

 

적송 숲에서 한가로이 거닐다 : 네이버 블로그

동서문명 탐구의 기난긴 여정

blog.naver.com

공무원을 꿈꾸며 대학에 들어갔으나 동서양문화에  심취하여 수많은 사부님들을 찾아다녔고 기나긴 갈 구끝에 서울 인사동과 중국 하남성 황토벌판 그리고  실리콘밸리에서 스승을 만났다. 지금은 산에서 내려 와 많은 친구들과 동서문명을 융합시키는 새로운 도 전의 여정에 있다. 그 중 하나로 빅데이터와 인공지 능의 본질을 연구하고 쉽게 전달하는 전도사로 활약 하고 있다. 

現 위데이터랩 대표이사 

現 디랩아카데미 원장 

現 성균관대, 한양대 겸임교수 

現 세계진소왕태극권총회 서울분회장 

現 국제서법연합 한국본부 사무차장 

前 삼성SDS Technical Architect 

 

가인

www.instagram.com/ga_casso

하루를 더 생생하게 기억하기 위해 일기장에 사진을 따라 그리는 것으로 그림을 그리기 시작했다. 가카소는 스스로 만든 별명인데 피카소처럼 재미난 그림을 그린다는 의미로 지었다. 미디어커뮤니케이션과 경영학을 전공하며 콘텐츠 기획에 관심을 갖게 되었고, 자전거·드럼·그림 등 다양한 취미를 갖고 있다. 항상 ‘한다면 한다’는 마인드로 새로운 것에 도전하며 꿈을 찾아가는 중이다.

 

전준혁

https://student-jjh.github.io/new/

 

Document

Now 지금 하고 있는 활동들

student-jjh.github.io

 

경영학을 전공으로 하는 학생. 우연히 갖게된 인공지능 역사탐구를 통해 공부의 방향성과 융합적 사고의 중요성을 알게 되었다. 경영학이 다양한 학문과의 관계 속에서 발전할 수 밖에 없는 학문이라는 것을 알게 되면서 코딩과 통계학 등 다양한 학문의 기초분야에 관하여 공부하고 있다.

 

루나 허령

https://brunch.co.kr/@hvnpoet 

 

루나의 브런치

야만인이야기 만화가 | 마음공부하는 천상시인 루나의 브런치입니다. #마음공부 #모델링 #마인드맵 #서예 #진소왕태극권 #천상병 #서울데이터과학연구회 #물질이개벽되니정신을개벽하자 #곳곳

brunch.co.kr

 

컴퓨터과학과 소프트웨어공학을 전공하고, 지금 은 금융회사의 상품과 서비스를 분석, 설계, 구현하 는 일을 하고 있다. 대학 초년생 시절 마인드맵을 접 한 이후 즐겁게 생각하는 방법을 깨달았고, 소프트웨 어공학의 모델링 사상을 이해하고부터는 마인드맵과 모델링을 아우르는 마인드맵모델링을 연구 중이다. 세상에 대한 공학적인 접근 이외에도 마음공부와 서 예, 태극권 등으로 자신과 세상의 경계를 넘어 진리 를 탐구하고 있다.

現 삼성SDS Principal Engineer