Adobe Firefly đang bị bỏ lại phía sau: Liệu cam kết về đạo đức có bị đổ lỗi?

Adobe đang xây dựng mô hình AI của mình theo đúng cách

Đó là một cách đáng ngưỡng mộ để xây dựng nền tảng AI, đặc biệt là khi đối mặt với các mô hình cạnh tranh được xây dựng bằng nội dung bị đánh cắp và trái phép. Người sáng lập Midjourney, David Holz, gần đây đã thừa nhận rằng công ty của ông không được phép sử dụng hàng trăm triệu hình ảnh được sử dụng để đào tạo trình tạo hình ảnh AI của mình.

“Màu phấn rồng con với vảy cầu vồng”

“Chân dung cận cảnh phượng hoàng trong bối cảnh giả tưởng”

Adobe cũng cam kết chống lại những thành kiến ​​phổ biến trong các trình tạo hình ảnh AI. Tháng 10 năm ngoái, Ôm mặt bắt đầu tổ chức “Thám hiểm xu hướng khuếch tán ổn định”. Công cụ này cho phép người dùng tận mắt chứng kiến ​​cách các mô hình AI đấu tranh với các định kiến ​​về chủng tộc và giới tính.

Một phần trong cách tiếp cận của Adobe dường như liên quan đến việc cấm hoàn toàn một số từ nhất định, điều này không phải là bất thường. Midjourney cũng vậy. Firefly không cho phép tôi tìm kiếm bất kỳ thứ gì liên quan đến từ “tội phạm”. Tôi muốn xem AI hình dung một “tên tội phạm” như thế nào. Firefly không gặp vấn đề gì khi tạo ra “tù nhân chơi thể thao”, mặc dù công bằng mà nói thì kết quả rất tệ.

Thật ấn tượng khi Adobe nhận thức được những thành kiến ​​này và nỗ lực làm việc để đảm bảo Firefly có trách nhiệm với xã hội. Adobe lập luận rằng, “bất kỳ công ty nào xây dựng các công cụ AI tổng quát nên bắt đầu với khuôn khổ Đạo đức AI.” Adobe tin rằng cấu trúc đạo đức của mình sẽ đảm bảo rằng các công nghệ AI của họ, bao gồm cả AI tổng quát như Firefly, sẽ tôn trọng người dùng và phù hợp với các giá trị cốt lõi của công ty.

Kết quả của “nhóm bạn ăn pizza chay và xem thể thao” này khá tốt. Bàn tay của mọi người chủ yếu là thực tế.

“Việc giảm thiểu các kết quả đầu ra có hại bắt đầu bằng việc xây dựng và đào tạo về các bộ dữ liệu an toàn và toàn diện. Ví dụ: mô hình đầu tiên của Adobe trong dòng mô hình trí tuệ nhân tạo sáng tạo Firefly của chúng tôi được đào tạo về hình ảnh Adobe Stock, nội dung được cấp phép mở và nội dung thuộc phạm vi công cộng đã hết hạn bản quyền. Việc đào tạo trên các bộ dữ liệu đa dạng, được tuyển chọn vốn đã mang lại cho mô hình của bạn lợi thế cạnh tranh khi tạo ra các kết quả hợp đạo đức và an toàn về mặt thương mại,” Adobe tiếp tục.

Những mục tiêu này không chỉ là tham vọng mà còn đáng được tôn trọng. Tôi muốn dành cho Adobe những lời khen ngợi lớn về cách hãng này đã phát triển và huấn luyện Firefly.

Nhưng 'Cách đúng' mang lại kết quả sai

Tuy nhiên, kết quả ban đầu cho thấy rằng có lẽ các giới hạn có giá trị về mặt đạo đức mà Adobe tự đặt ra đã ảnh hưởng tiêu cực đến hiệu suất của AI thế hệ mới của họ người mẫu. Adobe Firefly, tại thời điểm này, cần phải bắt kịp phiên bản Midjourney 5 cực kỳ ấn tượng và nó còn một chặng đường dài phía sau.

Có quyền truy cập vào Adobe Firefly. Trình tạo hình ảnh tốt, nhưng không tuyệt vời, chắc chắn là khi sử dụng chủ nghĩa hiện thực. So sánh nó với Midjourney v5 (trái); Con đom đóm (phải) cho cảm giác giống chụp ảnh cổ trang hơn, ít ấn tượng hơn về mặt hình ảnh. pic.twitter.com/W6lAtbKTIU

— Peter Gasston (@stopsatgreen) ngày 23 tháng 3 năm 2023

Tôi đã chạy cùng một lời nhắc cho @adobe firefly & @midjourney_ai v5.

Đây là lời nhắc mà tôi đã chạy:"Một con chim có mỏ dài đầy màu sắc lộng lẫy đang uống mật hoa từ một bông hoa khi đang bay giữa không trung, rất chân thực"

MidJourney Firefly pic.twitter. com/Za5swKzTY1

— Nasim Uddin (@nasimuddin01) ngày 23 tháng 3 năm 2023

Adobe Firefly không tệ, nhưng rõ ràng là không không hiệu quả bằng nền tảng Midjourney trưởng thành hơn nhiều. Tuy nhiên, điều quan trọng cần cân nhắc là Midjourney không chỉ cũ hơn, đây là một lợi thế đáng kể liên quan đến hiệu quả của AI tổng quát, mà còn đáng suy nghĩ về cách Midjourney được tạo ra.

Tình hình pháp lý chưa ổn định tạo niềm tin cho các phương pháp của Adobe

Việc xây dựng một mô hình AI bằng cách sử dụng nội dung bị đánh cắp không chỉ đáng ngờ về mặt đạo đức mà còn không minh bạch về mặt pháp lý. Khuôn khổ đạo đức của Adobe không tồn tại chỉ vì công ty cho rằng đó là điều đúng đắn nên làm, nó còn ảnh hưởng đến khả năng thương mại của sản phẩm.

“Luật pháp phải bắt kịp công nghệ,” Mickey H. Osterreicher, Tổng cố vấn của Hiệp hội Nhiếp ảnh gia Báo chí Quốc gia (NPPA) nói với PetaPixel.

Firefly có vấn đề với các kết quả rất giống nhau. Những kết quả này cho “ảnh macro của một bông hoa màu đỏ với một con ong” lặp đi lặp lại.

Thomas Maddrey, Giám đốc pháp lý của Hiệp hội các nhiếp ảnh gia truyền thông Hoa Kỳ (ASMP), nói thêm: “Luật bản quyền không được chuẩn bị và không được thiết lập để bảo vệ các nghệ sĩ hoặc người dùng tại thời điểm này. Rất nhiều trong số đó sẽ không được xác định theo luật bản quyền, mà, thật không may, trong vụ kiện tụng.”

Bằng cách xây dựng Firefly một cách rõ ràng xung quanh nội dung được cấp phép và sử dụng hợp lý, mô hình AI mới của Adobe có thể tránh được những gì giống như một thảm họa pháp lý sắp xảy ra. Tất nhiên, mục đích chính của Adobe là khả thi về mặt tài chính. Nếu hoạt động phù hợp về mặt đạo đức với mục tiêu quan trọng này và cũng cải thiện các hoạt động kinh doanh của Adobe, thì càng tốt.

“Hình minh họa theo phong cách truyện tranh về các luật sư la hét với nhau trong phòng xử án.” Cảm giác này giống như nơi chúng ta đang hướng tới trong bối cảnh AI luôn thay đổi và hỗn loạn.

Tuy nhiên, như tôi đã đề cập, sau khi sử dụng Firefly, thật khó để không thắc mắc liệu những hạn chế của nó có phải một phần do tập dữ liệu nhỏ hơn đáng kể mà Adobe đã cho phép hay không.

Tôi chỉ muốn có ảnh một người phụ nữ chụp ảnh một người đàn ông, điều đó có quá nhiều để hỏi không?

Ví dụ, khi tôi nhập dòng nhắc văn bản, “Người phụ nữ chụp ảnh chân dung một người đàn ông”, kết quả thật đáng thất vọng. Phụ nữ chiếm tỷ lệ thấp trong ngành nhiếp ảnh, vì vậy tôi tự hỏi liệu bộ dữ liệu hạn chế của Adobe có thể giải thích cho một tình huống có vẻ bình thường đối với tôi, nhưng lại là một tình huống thực sự bất thường đến đáng thất vọng.

“Người phụ nữ chụp chân dung người đàn ông”

Kết quả có thể đã tốt hơn. Chỉ có một trường hợp là một người phụ nữ chụp ảnh một người đàn ông; trong trường hợp đó, người phụ nữ đang chụp ảnh phía sau đầu của một người đàn ông.

Tôi nghĩ rằng tôi cần phải cụ thể hơn, vì vậy tôi đã thử, “Một người phụ nữ chụp ảnh khuôn mặt của một người đàn ông.” Điều đó khác với cách tôi thường mô tả những gì tôi muốn thấy: một người phụ nữ sử dụng máy ảnh để lấy một bức chân dung điển hình của một người đàn ông làm đối tượng của cô ấy. Lời nhắc này không hiệu quả hơn nhiều, mặc dù ít nhất ba trong số bốn phụ nữ có máy ảnh.

“Một người phụ nữ chụp ảnh khuôn mặt của một người đàn ông”

Chà, có lẽ “Một người phụ nữ sử dụng máy ảnh để lấy một bức chân dung điển hình của một người đàn ông làm đối tượng của cô ấy” sẽ hiệu quả? Chắc chắn không phải.

Tôi thích nhất là hình ảnh ở trên cùng bên phải, với người phụ nữ úp mặt vào cuối ống kính máy ảnh. Một giây gần là bất cứ điều gì đã xảy ra với người đàn ông tội nghiệp ở trên cùng bên trái; nó có vẻ đau đớn.

“Một người phụ nữ sử dụng máy ảnh để chụp một bức chân dung điển hình của một người đàn ông làm đối tượng của cô ấy” là một cách khó hiểu để diễn đạt những gì tôi muốn xem. Kết quả cũng tệ tương tự.

Firefly chưa thể điều hướng vấn đề của AI bằng tay

Firefly có thể thực hiện công việc tốt hơn bằng tay, đây phải thừa nhận là một vấn đề phổ biến đối với các mô hình AI tổng quát. Midjourney v5 cuối cùng đã mang đến bàn tay con người gần như thực tế, ít nhất là cho những khách hàng trả tiền.

Một trong số ít lần Firefly tạo ra một cặp đôi hỗn hợp chủng tộc mà không có sự nhắc nhở cụ thể, nó vẫn phải vật lộn với đôi tay.

Midjourney thực hiện rất tốt việc tạo ra những bức chân dung chân thực về tổng thể của mọi người. Tôi muốn thử một cái gì đó tương tự trong Firefly, sử dụng các cụm từ cụ thể, điều này đã tỏ ra hữu ích cho các mô hình AI trước đó.

Chụp chân dung cách điệu không tốt hơn nhiều span>

“Chân dung phụ nữ, tấm ướt”Đây không phải là gì Ý tôi là "đĩa ướt." Tôi nghĩ rằng đây là một trường hợp lỗi người dùng. Tuy nhiên, điều đó nói rằng, “Chân dung của một người đàn ông, tấm ướt” mang lại kết quả rất khác so với truy vấn cho “phụ nữ”. Tôi không biết tại sao.

Tôi cho rằng những kết quả này là do lỗi của người dùng. Sử dụng “Chân dung người phụ nữ trên tấm ướt” mang lại kết quả tốt hơn đáng kể.

“Chân dung người phụ nữ trên tấm ướt” hoạt động tốt hơn nhiều so với “chân dung của một người phụ nữ, đĩa ướt.

Nhằm mục đích cụ thể hơn, tôi đã thử “Chụp ảnh chân dung toàn thân của một người đàn ông vào những năm 1800, ảnh ghép ướt”. Tôi không chắc phải nói gì về những kết quả này, nhưng chúng không như tôi mong đợi.

“Chân dung toàn thân của một người đàn ông vào những năm 1800, chụp ảnh cắt dán ướt” đã tạo ra một số hình ảnh thú vị, ít nhất phải nói là như vậy. Tôi không chắc mình có thể gọi chúng là thực tế hay không.

Hãy nói về chủng tộc: Sự đa dạng trong chân không

Tôi quyết định thử chụp chân dung người một lần nữa. Tôi chọn, “Chân dung một cặp đôi hạnh phúc trong tình yêu với hiệu ứng bokeh 85mm.” Tôi đã chạy lời nhắc này nhiều lần để xem các kết quả khác nhau và bộ tứ này là tốt nhất. Một số kết quả có khuôn mặt biến dạng, trong khi những kết quả khác có các chi kỳ lạ. Không ai trong số họ trông cực kỳ tự nhiên hoặc thực tế.

“Chân dung một cặp đôi hạnh phúc đang yêu, 85mm, hiệu ứng bokeh”

Tôi cũng nhận thấy rằng mặc dù kết quả liên tục tạo ra những người thuộc các chủng tộc khác nhau và các màu da khác nhau, nhưng mỗi cặp đôi bao gồm những người cùng chủng tộc.

Tôi nghĩ rằng có thể một lời nhắc rộng hơn, chẳng hạn như “chân dung của một cặp đôi,” sẽ hữu ích. Nó đã không. Để đạt được kết quả như mong đợi, tôi cần chỉ định một “cặp đôi đa chủng tộc”. Một mặt, tôi hiểu tại sao, chỉ với bốn kết quả có thể nhìn thấy, tôi cần phải cụ thể để thấy một số biểu hiện nhất định của sự đa dạng. Tuy nhiên, mặt khác do AI tạo ra, tôi không nghĩ rằng mình cần phải yêu cầu sự đa dạng để xem nó.

Firefly cần nhiều công việc hơn để giải quyết vấn đề giới

Tôi lập tức chú ý đến một điều khác — không phải một bức chân dung của một cặp đôi hay những người đang yêu nhau, cho thấy các đối tượng có vẻ như đang có mối quan hệ đồng giới.

Tôi đã thử, “ảnh cưới, bên ngoài, ban ngày.” Giờ đây, không chỉ những hình ảnh được tạo ra chỉ hiển thị đám cưới dị tính da trắng, một trong những bức ảnh cho thấy chú rể đang ôm ngực cô dâu. Tôi chưa tham dự nhiều đám cưới nên có thể tôi đã tham dự những lễ kỷ niệm tương đối buồn tẻ và đơn giản, nhưng điều đó có vẻ rất lạc lõng.

“Ảnh cưới, bên ngoài, ban ngày.”Cô dâu ở trên cùng bên trái dường như đang giết chú rể của mình. Trong khi đó, chú rể lôi thôi này đang có một số ít.

Tôi đã tìm kiếm với các cụm từ như “cặp đôi đa chủng tộc” và “đám cưới đồng giới” và kết quả không tốt.

“ Đám cưới đồng giới” cho kết quả khá thất vọng.

Tại sao “đám cưới” lại yêu cầu một người mặc váy cưới? Tất nhiên, đó không chỉ là bất kỳ chiếc váy cưới nào - đó là một chiếc váy cưới theo phong cách phương Tây rất truyền thống.

Để so sánh tương ứng với Midjourney v5, vốn cấm thuật ngữ “tình dục”, tôi đã yêu cầu Firefly tạo một “đám cưới của hai người đàn ông”. Midjourney khiến Firefly phải xấu hổ ở đây, mặc dù cả hai mô hình AI dường như đều nhắm vào người da trắng với lời nhắc đó.

Firefly's attempt at “wedding of two men” might be slightly better, but much worse than Midjourney's effort. Midjourney v5’s take on “wedding of two men.”

Photorealism Often Challenges Firefly

Overall, during my time using Adobe Firefly, my quest for photorealistic AI-generated images of people proved challenging. I’m willing to chalk some of the struggles up to its beta status and that Firefly is a relative infant in the rapidly evolving generative AI space, as well as Firefly’s small, ethically sourced training dataset.

I asked for a “photorealistic portrait of a man with a mustache,” and I suppose that’s what I got. But why do all four men have the same mustache?

My confidence that Firefly will evolve is tempered by its limited dataset. Adobe isn’t going to go the route of Midjourney and start stealing images suddenly and Firefly is already at least six to eight months behind some competitors regarding its results. If the model improves slowly due to a reduced dataset, will it ever catch up?

Specificity Helps in a Big Way

While I find it frustrating that I needed to be specific to see mixed-race couples, and I have no idea what Firefly is doing with same-sex couples, I think that part of the fault lies with me. Vague prompts will rarely meet my expectations.

Firefly did a great job with “Portrait of a young black woman with natural hair wearing fashionable clothes.” As far as the results of people go, this is one of Firefly’s more impressive efforts.

However, precise prompts can. Consider “Portrait of a young black woman with natural hair wearing fashionable clothes.” I’m impressed that Firefly respected “natural hair” and did a nice job with it. It also did an excellent job with “young” and “fashionable clothes,” in my opinion.

Removing People Delivers Better but Monotonous Results

When I fed Firefly different prompts without people, the results improved. However, Firefly is not only limited insofar as it only shows four results at a time, the results also look very similar to one another.

This is an admirable effort at “grizzly bear fishing for salmon, mountain in the background, telephoto lens.” This is in the style of “art” with “golden hour” light and “warm tones.”

This issue persisted when I ditched the “Photo” content type. When I opted for “Art” and added modifiers including “hyper realistic” and “fantasy” with “warm tone” and “golden hour” lighting, the results still lacked diversity. Still, admittedly, they’re quite lovely.

These “polar bears riding a rollercoaster” look pretty good, too. “Polar bears riding a rollercoaster” as generated by Midjourney v5

Ultimately, Adobe Firefly is a well-intentioned generative AI model that, in pursuing ethical and commercial goals, is currently limited in its performance and practicality. In important, moral ways, Firefly is better than its competitors. When it comes to the results though, it’ is undoubtedly worse.

However, Firefly does a much better job with non-human animals. Consider these “penguins having a barbecue in the snow.” This looks pretty good. In the spirit of Rosa Diaz from the television show Brooklyn Nine-Nine, “I’ve only had [space sloth] for a day and a half, but if anything happened to him, I would kill everyone in this room and then myself.”

That said, Adobe Firefly just launched, and it will improve over time. Besides, I had a lot of fun generating a “close-up portrait of a sloth astronaut in space eating a taco” in a “cartoon” art style with a blurry background, cool tones, and dramatic lighting. Firefly ticked only some of my requested boxes, but I wonder how much I care — I love my space sloth.