AI가 8학년생보다 똑똑한가요?
(이미지 제공: Sierra Elman)
“일출에 관한 시를 써보세요.” 나는 세 개의 AI 챗봇인 OpenAI의 ChatGPT-4, Google의 Bard, 그리고 Anthropic의 Claude 그리고 나 자신인 8학년 학생에게 물었습니다. 그 후 38명의 AI 전문가와 39명의 영어 전문가로 구성된 심사 패널을 조사했습니다. AI가 8학년 학생보다 똑똑한가요?
그리고 조사 결과... AI가 적어도 아직은 8학년생보다 똑똑하지 않다고 합니다. 8학년생이 1등을 차지했으며, 영어 전문가들의 심사에서 더 높은 평가를 받았습니다. Bard, ChatGPT-4, 그리고 Claude는 각각 글의 품질과 심사위원들을 속이는 능력 면에서 2, 3, 4등을 차지했습니다. 가장 놀라운 점은 영어 전문가들이 AI가 쓴 시를 더 잘 구별했는데, 11명의 영어 전문가가 4편의 시의 저자(인간 vs. AI)를 모두 정확히 추측한 반면 AI 전문가는 3명뿐이었습니다. 이는 영어 전문가들이 AI 기술의 미래 버전을 형성하는 데 더 큰 역할을 해야 한다는 필요성을 보여줍니다.
대형 언어 모델(LLM)의 폭발적인 인기로, 인공지능이 인간 작가의 역할을 대신하고 진정한 인간 창의력의 상실에 대해 많은 이야기가 쓰여졌습니다. 저는 개인적으로 창의적인 글쓰기 프로젝트에 참여하고 있습니다. 이 프로젝트는 단편 소설과 시집으로 구성되어 있으며, 그 중 일부는 출판을 위해 제출했습니다.
최근에 제가 제출한 작품 중 하나에 대한 피드백으로 편집자가 '이 시의 미터가 매우 선명하다는 것은 고등학생들에게는 드물지만 8학년생에게는 더욱 그렇다. 이 시를 쓸 때 AI를 전혀 사용하지 않았다는 것을 증명하는 서약서에 서명해 주세요.'라고 답했습니다. 나는 기분 좋고, 조금 억울한 느낌을 받았지만, 무엇보다도 놀랐다.
나는 그 후 내 진행 중인 창작 작품에 파생물을 추가하기로 결정했습니다 — AI가 얼마나 진정한 글쓰기를 만들 수 있는지 더 자세히 살펴보고 싶었습니다. 나는 시에 초점을 맞추기로 선택했습니다. 다른 AI 생성 글쓰기와 달리, 시는 AI가 진정하게 생성하는 데 훨씬 더 어렵습니다. 하버드 대학생 마야 보드닉은 AI가 쉽게 그녀의 신입생 수업을 통과했다 예를 들어. 그러나 에세이와 달리, 시의 주요 구성 요소는 AI가 본질적으로 부족한 인간의 감정입니다. MIT 프레스 리더의 키스 홀리오크는 AI가 진정한 시를 쓸 수 있을까?에서 '시는 인공지능이 인간을 예술적 창작자로 도전(위협?)할 정도를 조기에 나타낼 수 있는 채굴 광산의 캐너리 새로운 역할을 할 수 있을 것이다.'라고 쓴다.
실험
AI가 시를 얼마나 잘 쓸 수 있을까? 2023년 2월, The Atlantic의 Walt Hunter는 AI 시를 조사했고, AI 시가 진부하고 눈살을 찌푸리게 하는 울림을 가득 담고 있다고 결론 내렸습니다. 약 1년 후에 AI 능력이 어떻게 변화했는지 확인하고 싶었습니다. 주로, 시의 미래와 창의성에 대한 함의에 대해 더 알고 싶었습니다. 세 가지 질문에 관심이 있었습니다:
- 튜링 테스트: 사람들이 시가 AI에 의해 생성되었는지 올바르게 감지할 수 있을까요? 2. AI가 생성한 시는 실제로 품질 높은 시인가요? 3. 영어 전문가와 AI 전문가 간에 판단 차이가 있을까요?
이러한 질문들을 분석하기 위해, 2024년 1월에 OpenAI, Google, Apple, Amazon 등에서 일하는 AI 엔지니어, 제품 매니저, 리더 등 38명의 AI 전문가와 영어 선생님, 교수, 작가, 저자 등 39명의 영어 전문가를 대상으로 설문조사를 실시했습니다. 설문조사는 각각 2023년 12월 27일에 생성된 네 편의 시를 제시했습니다.
- Anthropics의 Claude 2.1
- Google의 Bard (Gemini는 아직 출시되지 않았습니다)
- 나, 8학년 학생 (검색 가능한 기존 시를 선택하고 싶지 않았으며, 응답자가 이전에 접했을 수도 있는 시를 선택하고 싶지 않았습니다. 또한 특별히 노력하지 않고 대략 15분 정도에 시를 만들었습니다)
- OpenAI의 ChatGPT-4
(시 전문은 이 게시물 하단에서 찾을 수 있습니다.)
조사에서 응답자들에게 각 시를 지각된 품질 측면에서 1에서 10까지의 척도로 평가하고, 해당 시가 AI에 의해 작성된 것인지 인간에 의해 작성된 것인지를 평가하도록 요청했습니다. 응답자들은 AI나 인간에 의해 작성된 시가 몇 편인지 알 수 없었으며, 인간이 작성한 시의 저자를 알 수 없었습니다.
그들은 또한 내가 제공한 세 가지 AI 챗봇에 대한 프롬프트를 알지 못했습니다. AI 챗봇이 다루기에 상대적으로 간단해 보였기 때문에 일출을 주제로 선택했습니다.
튜링 테스트: 사람들이 시가 AI에 의해 생성되었는지 올바르게 감지할 수 있을까요?
대부분의 응답자(89.6%)가 인간의 시가 인간이 작성한 것임을 올바르게 감지했습니다. 그리고 대부분의 사람들은 AI가 작성한 시를 어느 정도 잘 알아차렸습니다. 응답자의 18.2%가 4/4 시의 저자를 올바르게 식별했습니다. 응답자의 절반 이상(58.4%)이 시의 저자를 3/4 정확하게 추측했습니다. 18.2%가 2/4를 정확하게 추측하고, 3.9%가 1/4를 정확하게 추측했습니다. 오직 한 명(1.3%)만이 모두 잘못 추측했습니다.
전체적으로 응답자의 33.8%가 AI 시를 인간이 쓴 것으로 잘못 생각했습니다. AI 챗봇별로 나누어 보면, Bard가 훨씬 더 많은 사람들을 속였습니다. 응답자의 46.8%가 Bard의 시를 인간이 쓴 것으로 믿었으며, ChatGPT는 29.9%, Claude는 24.7%로 나타났습니다. 이는 그림 1의 녹색 막대로 보여집니다.
Figure 1
AI가 생성한 시는 실제로 품질 좋은 시일까요?
AI 경쟁자들은 여기서 더 나은 성적을 거뒀지만, 여전히 인간보다 성적이 낮았습니다. 그러나 인간의 시는 AI 시들이 더 가깝게 따르고 있었습니다. 구체적으로, 인간 시는 평균 6.9/10의 품질 평가로 가장 높았으며, Bard가 6.2/10, ChatGPT가 5.8/10, Claude가 5.4/10의 평가를 받았습니다. 이는 그림 1의 파란 막대로 나타나 있습니다. 전체 AI 시들의 평균 품질 평가는 5.8/10이었습니다.
응답자들은 AI에 대한 분명한 편견을 가지고 있었습니다
평균적으로 응답자들이 시가 인간에 의해 쓰였다고 믿는다면, 그 시에 대해 더 높은 품질 평가를 할 것입니다. 구체적으로는 그림 2에서 보여지듯이:
- 클로드의 시가 인간이라고 생각한 응답자들은 평균 1.79점 더 높게 평가했습니다.
- 바드의 시가 인간이라고 생각한 응답자들은 평균 1.9점 더 높게 평가했습니다.
- ChatGPT 시가 인간이라고 생각한 응답자들은 평균 1.95점 더 높게 평가했습니다.
- 인간 시가 인간이라고 생각한 응답자들은 평균 2.14점 더 높게 평가했습니다.
다시 말해, 응답자들은 시가 나쁘다고 판단하여 인공지능이 작성했다고 결정하거나, 인공지능이 작성했다고 판단하여 나쁘다고 결정했습니다. (응답자들은 먼저 시를 평가하고, 그 후에 그것이 인공지능 생성인지 추측하도록 요청되었으므로, 전자가 더 가능성이 높습니다.) 어떤 경우에도, 인공지능 작성물의 지각된 품질에 대한 분명한 편향이 있었습니다.
Figure 2
Figure 3는 4편의 시에 대한 품질 평가와 시를 인간이 쓴 것으로 믿는 응답자의 백분율 간의 높은 상관 관계(R² = 0.943)를 보여줍니다. (R² = 1.0은 완벽한 상관 관계를 의미하며, 0.0은 상관 관계가 없음을 의미합니다.)
Figure 3
영어 전문가와 AI 전문가 사이에 판단 차이가 있었나요?
영어 전문가들은 가장 속지 않을 가능성이 가장 적었습니다
영어 전문가들은 시를 쓴 사람을 분별하는 데 분명히 더 뛰어났습니다. 영어 전문가들은 시의 저자를 평균 4회 중 3.13회 정확하게 추측했는데, 반면 AI 전문가들은 4회 중 2.61회에 그렇게 할 수밖에 없었습니다. 이는 영어 전문가들이 아마도 시에 대한 어느 정도의 배경 지식을 가지고 있었기 때문에 놀라운 일이 아니었습니다.
가장 두드러지게, 영어 전문가들은 완벽한 점수를 받을 가능성이 훨씬 높았습니다. 77명 중 14명(18%)만이 네 가지 시의 저자를 올바르게 식별했습니다. 영어 전문가들은 이를 훨씬 더 자주 성취했는데, 39명 중 11명(28%)의 영어 전문가가 완벽한 점수를 받았으며, AI 전문가 중 38명 중 3명(8%)만이 완벽한 점수를 받았습니다.
완벽한 점수를 받은 사람들이 어떻게 그것을 이루었는지 알고 싶어서, 그들의 방법론에 대해 물었습니다.
완벽한 점수를 받은 영어 전문가들은 운율, 낡은 문학 장치, 진부한 표현, 그리고 논리적 결함을 주목했습니다. 매사추세츠 대학의 글쓰기 강사 래리 플린은 'AI 시'의 운율 구조가 조금 의심스러웠다고 말했습니다. 현대 시인들이 매우 전통적인 종말 운율을 사용하지 않는다는 점에서, 그 작품들이 실제 시가 아닌 '시의 '아이디어'를 만들려고 한 것으로 보였습니다. 누에바 학교 중등부 교장이자 20년 간의 경력을 가진 전 영어 교사인 카렌 티겔은 '몇몇 시의 스타일을 알아보았고' '특히 비유와 은유를 과도하게 사용한 AI 생성 시를 발견했습니다!' 누에바 학교 글쓰기 및 연구 센터 센터장 제니퍼 폴은 종종 '특히 진부하거나 논리적으로 부적절한 요소들을 보았지만 (예를 들어 숯불을 마시지 않습니다)'라고 말했습니다.
완벽한 점수를 받은 AI 전문가들은 단순함과 운율 문제, 부주의, 그리고 순전히 '나쁜 글쓰기'를 발견했습니다. Google DeepMind의 공학 이사인 David Orr은 LLM에 많은 시간을 투자해왔기 때문에 대부분의 AI 작성 텍스트를 보면 느낌이 옵니다. 그러나 때로는 특정 단서를 발견하기도 합니다. 바드의 시에는 'cloak'을 'cloak'으로 운율을 맞추는 것이 인간 시인이 할 일이 아닌데도 이렇게 했다는 명확한 단서가 있었습니다. 또한 운율 구조가 일관되지 않았습니다: 대부분이 ABCB이지만 때로는 ABAB; 다시 말해, 인간은 더 신중했을 것이라고 생각합니다. Chat-GPT의 시에도 단서가 있었습니다. '각 획은 대담하면서도 부드럽게 대담하다'는 것은 솔직히 말해서 그냥 나쁜 글쓰기입니다. 시에서 무게가 많이 실린 마지막 줄도 실제로 말이 되지 않았습니다. 꿈은 새벽에 찾아지는 것이 아니라 밤 내내 있습니다. 인간 시인은 이것을 끝으로 다시 생각했을 것이라고 생각했습니다. Apple의 데이터 과학 매니저인 Ted Hart는 '시의 단순함과 운율의 양'을 기반으로 추측을 했습니다.
AI의 작품으로 명백히 판단된 시를 제거하기 위해 제거 과정을 사용하는 것 외에도, 만점을 받은 사람들은 또한 '인간적인' 요소를 가진 인간 시의 특징을 지적했습니다. 플린은 인간 시가 '가장 혁신적인 자유 형식을 가졌기 때문에 인간이 생성한 것으로 생각했다'고 느꼈습니다. 오어는 인간 시가 '명백히 인간적이었고, LLM이 줄 바꿈과 시각적인 요소에 흥미로운 것을 한 적이 없었다. 언젠가는 이것이 나올 것이지만, 나는 즉시 이것이 '진짜'라는 것을 알았다'고 생각했습니다.
영어 전문가들은 자신들의 품질 평가에서 더 까다로웠습니다
영어 전문가들은 AI 전문가들보다 품질 평가에서 더 높은 식별 능력을 보였습니다. AI 전문가들의 평가를 제외한 품질 평가에서는 인간 시의 평가가 올라가고 AI 시들의 평가는 내려갔습니다. 영어 전문가들은 평균 7.2/10으로 인간 시를 평가했으며, 이는 바드의 시가 6.1/10, ChatGPT의 시가 5.4/10, 그리고 클로드의 시가 5.0/10으로 평가된 것과 비교됩니다. (그림 4의 파란 막대로 나타납니다.)(AI 전문가들만의 평가는 초록색으로 표시됩니다.) 평균적으로 영어 전문가들은 인간 시를 AI 전문가들보다 0.6 점 더 높게 평가했습니다. 또한 영어 전문가들은 바드, ChatGPT-4, 그리고 클로드의 시를 각각 0.3, 0.8, 0.9 점 낮게 평가했습니다.
그렇다고 해도, 일반적으로 AI 전문가들은 영어 전문가들보다 시에 대해 더 적은 지식과 전문 지식을 가지고 있기 때문에, 영어 전문가들의 품질 평가가 더 정확하다고 생각합니다. 어쨌든, 이 경우에는 인간이 승리하며, 특히 영어 전문가들만을 기준으로 판단할 때 더 큰 폭으로 승리합니다.
그림 4
결론
인공지능 시는 아직까지 완벽하지 않습니다
대체로 대부분의 응답자들이 AI가 쓴 시를 올바르게 구분할 수 있었으며, 그 시들을 품질 면에서도 낮게 평가했습니다. 이는 상대적으로 깊은 의미 없는 주제에 대한 것이었는데, 현재 대부분의 시들의 주제는 인간의 감정이나 사회 정의와 같이 훨씬 복잡한 주제와 관련이 있습니다. 아마도 더 중요한 것은, 인간의 시가 전문 시인이 아닌 8학년 학생에 의해 쓰여졌다는 점입니다. 따라서, 그만큼 경쟁하기 어렵지 않아야 할 것입니다.
그렇다고 해서 AI 시가 나쁜 것은 아닙니다. 여러 조사 참가자들 중 일부는 조사가 예상보다 더 어려웠다고 표현했습니다. 일부 시는 다른 시보다 추측하기 어려웠습니다. Orr 같은 완벽한 추측가조차도 한 편의 시에 대해 직감에 의존해야 했는데, 그는 '이 시는 꽤 좋았고, 가장 불확실했던 것 같다. 하지만 조금만 노력하면 더 나아질 수 있을 것 같아요. 세 부분을 좀 더 명확하게 분리하는 것처럼요.'라고 느꼈습니다. (재미있게도, 이 시는 Claude의 시였는데, 인간이라고 믿는 응답자 비율이 가장 낮았습니다.) Flynn은 추측에 역심리학적 요소가 포함되어 있다고 지적했습니다. 전통적인 끝맺음 운율을 가진 시들을 AI의 작품으로 귀속시켰지만, '그럼에도 불구하고, 이것은 인간이 고전적인 형식을 모방하려고 노력했을 수도 있습니다. 놀랍고, 네, 도전적입니다!'라고도 생각했습니다. Orr은 '전반적으로 LLM 시는 매우 빠르게 매우 좋아졌다고 믿습니다. 1년 또는 2년 후에는 구별하기 어려울 것 같습니다.'라고 믿습니다.
예언가들은 글쓰기/창작 분야에서의 직업 종말을 예언하고 있습니다. 계산기와 컴퓨터가 발명된 것과 유사하게. 그러나 적어도 현재로서는, 계산기와 컴퓨터가 인간을 대체하지는 않았습니다 — 그들은 도구가 되었습니다. 비슷하게, 적어도 현재의 형태로는, AI는 실제로 글쓰기/창작자들을 위한 도구 세트의 일부로만 기능할 수 있으며, 그들에게 시간을 절약해 줄 수 있습니다(주의 깊게 검토하고 편집한다면) 그들의 글쓰기/창작 프로젝트에서.
…하지만 영어 전문가들이 도와줄 수 있습니다
가장 흥미로운 관찰은 영어 전문가들이 AI가 쓴 시를 더 잘 식별할 수 있었다는 것이었습니다. 11명의 영어 전문가 중 4편의 시를 완벽하게 맞추는 데 성공한 사람은 3명의 AI 전문가뿐이었습니다. 시에 대한 더 큰 전문 지식을 갖고 있는 영어 전문가들은 AI 전문가보다 품질 평가에서 더 세밀했으며, AI 전문가보다 더 높은 평가 점수로 인간이 쓴 시를 AI가 쓴 시보다 더 높게 평가했습니다. 이 모든 것은 AI 제품 팀에 영어 전문가와 협력하여 제품을 개선하고 높은 품질의 산출물이 무엇인지 정의하는 데 필요하다는 점을 보여줍니다. 결국, 금기준을 알지 못하고 제품을 만드는 것은 어렵습니다.
시인(그리고 만점자) 리 로시는 AI를 초보 시인과 비교하여 이 점을 설명했습니다: '많은 초보 시인들은 '시적이어야 한다'고 생각합니다. 이는 자신의 경험과 언어 감각에 의존하는 대신에 독서에서 기억하는 단어와 이미지를 사용해야 한다는 것을 의미합니다. 다시 말해, 그들은 시인이 아닌 AI처럼 쓴다.'
영어 전문가들이 AI 알고리즘 개발에 도움을 주면, 그들이 스스로 무덤을 파는 것은 아닌가라는 역설적인 질문이 제기된다. 단기적으로, 전문 작가들이 AI 팀에서 협력하여 미래 버전의 AI를 개선하는 데 도움을 주는 것은 작가들과 AI 커뮤니티 양쪽에 현실적인 이점이 있다고 생각한다. 더 나은 AI 버전은 작가들이 더 풍부하고 창의적인 아이디어와 프로젝트를 개발할 수 있도록 해준다. 이는 작가들이 자신의 작품을 더 효율적으로 편집할 수 있게 도와줄 것이다. 장기적으로, 나는 AI가 창의적인 작업을 위한 새로운 길과 기회를 열어줄 것이라고 조심스럽게 낙관적이다. 이것이 정확히 무엇으로 나타날지는 계속 발전할 것이며(별도의 연구가 필요할 만큼 중요하다), 창의적인 사람들이 유연하고 전환할 수 있는 능력을 갖추는 것이 중요하다. 그리고 그것이 이미 창의적인 사고의 DNA의 일부가 아닌가요?
AI가 결국 인간의 역할(또는 인간 자체)을 대체할까요? 아마도 그렇겠지만, 적어도 그 때까지는 AI 글쓰기 품질을 향상시키기 위해 영어 전문가들의 도움이 필요하다는 것은 분명합니다. 오늘날 작가들은 AI와 대립하는 대신, 정책 측면 뿐만 아니라 기술 측면에서 AI의 미래를 형성하는 데 적극적인 역할을 해야 합니다.
(이 게시물 작성에 도움을 주신 모든 설문 응답자와 마야 보드닉에게 감사드립니다.)
업데이트: 2024년 2월 8일에, Google Bard가 Gemini으로 대체되었습니다. Bard가 품질 평가 및 응답자를 속일 능력에서 1위를 차지했기 때문에, Gemini이 Bard보다 개선되었을 것으로 예상했습니다. 최근에 Gemini에 동일한 프롬프트를 입력하여 명백한 저하가 있는지 확인해 보았고, 이 기사 하단에서 찾을 수 있는 그 시는 놀랍게도 약간 더 나빠진 것으로 보였습니다. 네이버 응답자나 다른 누군가가 이에 대해 의견을 남기고 싶다면, 귀하의 생각을 듣고 싶습니다!
클로드의 새벽
황금빛 빛줄기가 지평선 너머로 비춰진다 잠든 땅에 따뜻함을 전한다 어둠의 담요가 후퇴한다 새벽 빛이 하늘을 가로지르며 전진한다 장미빛 색조가 춤추며 반짝인다 낮게 떠 있는 구름 위로 잠든 세계가 깨어난다 생물이 나타나며 아침 노래가 울려 퍼진다 새로운 날이 밝아오며 희망 가득한 떠오르는 해가 어둠을 쫓아내며 새로운 시작을 비춘다
바드가 연주하는 일출의 심포니
새벽의 첫 번째 그림자, 밤의 캔버스에 부드러운 주황색이 번져나가, 먹구름을 밀어내듯이, 손가락처럼 조금씩. 지평선 가장자리에 실루엣이 움직이며, 잠에서 깨어나는 산들, 가지를 뻗어 금빛을 향해, 길고 시원한 재를 마시듯이 따뜻함을 느낀다. 새소리의 교향곡이 터져나오며, 새로운 날을 환영하는 기쁜 합창, 타오르는 태양이 언덕을 넘어가며, 아침의 회색에 다이아몬드를 흩뿌린다. 세상이 뻗어나가며, 하품을 하며 망토를 벗어내며, 새로운 빛에 반짝이는 이슬에 젖은 풀, 그림자는 태양의 따뜻한 망토에 쫓겨 사라져, 구석구석으로 사라진다. 새로운 시작의 약속으로 공기가 울린다, 하늘의 광활한 푸른색에 새겨진 새로운 시작, 태양이 높이 올라가며 구름에 날개를 칠하고, 세상은 황금빛에 즐거워한다. 그러니 우리는 일출과 함께 일어나, 뜨거운 마음으로 하루를 환영하며, 빛과 그림자의 교향곡 속에서 우리의 삶이 얽히며, 아름답게 새겨진 새벽의 태피스트리 속에.
Sierra Elman에 의해 태양에 쬐인 (8학년 인간)
수탉이 울부짖는다. 해가 지평선에 입맞추는 것을 지켜본다. 섬세하게 — 마치 땅이 지나치게 열정적으로 갈라질 것처럼. 황금빛 빛이 내 시야를 감싼다. 하늘을 덮고 — 어둠은 바이올렛과 솜사탕 분홍빛의 손가락 자국으로 옅은 파랑으로 사라진다. 나는 꿀향기를 들이마신다. 해가 땅을 축복하고 밤의 유령들을 쫓아내는 이 순간을 기억한다.
ChatGPT-4에 의한 새벽의 속삭임
새벽의 조용한 빛 속에서, 동쪽에 캔버스가 펼쳐지며, 온화한 힘의 색조로 속삭이며, 극적이고 시각적인 축제. 진홍이 사프란 금으로 변하며, 화가의 우아함으로 하늘을 물들이며, 각 획은 대담하고 부드럽게 대담하게, 조용한 세계의 깨어나는 공간 속에서. 타오르는 태양 구체가 느리고 안정된 속도로 오르며, 밤의 남은 위장을 쫓아내며, 빛나는 포옹 속의 따뜻함으로. 새들이 달콤한 합창으로 지저귀며, 하루의 신선한 시작을 환영하며, 대지와 하늘이 만나는 이 순간, 자연의 걸작, 마음의 작품. 꿈과 빛의 혼합인 지평선은 희망과 새로운 시작을 말하며, 아침 풍경의 순간적인 아름다움 속에서, 삶은 안정되고 진실한 리듬을 찾는다. 일출, 하늘의 약속, 매일의 부활, 세계의 한숨, 하루의 정점에 이르기 전 이 순간에는 꿈이 펼쳐지는 조용한 마법이 있다.
Gemini가 만든 Blooming Embers (생성일: 2/15/24)
첫 번째 빛, 주저하는 손이 그립니다 밤의 캔버스 위에, 숯빛 그림자를 밀어내며, 조용하고 부드러운 싸움. 남보라가 보라로 피어나며, 금과 자수정에 입맞추며, 별들은 하나씩 항복하며, 그들의 마지막 약속을 속삭입니다. 지평선의 선, 불타는 솔기, 진홍색 꽃이 터져 피어나며, 태양빛이 쏟아지는 액체 꿈, 그림자를 추격하여 그들의 운명으로. 검은 나무들, 이제 녹색으로 입혀져, 이슬 위에 흩어진 다이아몬드, 보이지 않는 새들의 교향곡, 아침 빛을 환영하며. 세상이 빛에 씻겨 깨어나며, 희망이 부서진 날개에 펼쳐지며, 새로운 날이 태어나, 활기차고 밝게, 일출의 노래가 부드럽게 흥얼거립니다.