Como treinar um estilo absurdamente bom
Se você usa a Krea, já manda muito bem em prompts de texto. E provavelmente já treinou LoRAs antes. Mas o que faz um modelo personalizado ser incrível? Os 3 passos-chave da Krea para treinamento:- Curadoria
- Você precisa de imagens de primeira: alta qualidade e muita coesão. Você é o curador e a Krea é a sua galeria.
- Refinamento
- A Krea deixa superfácil ajustar todas as especificações técnicas: modelos de base, passos de treinamento etc. Ajuste o quanto quiser.
- Alquimia
- Vamos deixar claro: o treinamento de estilos é uma arte por si só, não uma ciência exata. Se o seu treinamento não atender às expectativas, não entre em pânico. É um processo de tentativa e erro para criar algo mágico. Itere, itere, itere!
Prompt: Um alquimista em seu laboratório destilando um elixir, abstrato. Feito com um estilo personalizado no modelo Krea 1.
1. Curadoria
Upload
No Krea.ai, clique no ícone Home e, em assets, clique em Train. Ou simplesmente role a página para baixo.
Tipos de dataset
Personagem- Você pode treinar um modelo para entender um personagem desenhado ou renderizado específico (ilustração, concept art, animação, videogames etc.). Também serve para treinar com o rosto de uma pessoa real (com consentimento, é claro).
Os dados do personagem (à direita) e o personagem gerado pelo estilo (à esquerda) têm detalhes consistentes.
- Use o máximo de imagens do seu personagem com exatamente a mesma roupa para manter a consistência. O ideal é ter uma variedade de poses, ângulos e ações.
- Animadores e concept artists: esse fluxo é superparecido com a criação de model sheets de personagem.
- Mesmos princípios do treinamento de personagens: exatamente o mesmo objeto, vários ângulos, closes para os detalhes e planos abertos para o contexto.
- Se você é designer de produto ou trabalha com e-commerce, é só fazer upload de todas as fotos de produto únicas que tiver.
- Fundos vazios ou transparentes podem ajudar, mas não são necessários, desde que o objeto seja o foco central da imagem.
Mesmo objeto, ângulos diferentes, fundo vazio. Esses são ótimos dados de treinamento.
- Se QUALQUER uma das suas imagens mostrar um objeto ou produto ligeiramente diferente, isso vai confundir o modelo e prejudicar os resultados.
Se houver texto no produto, o estilo talvez não consiga reproduzi-lo, a menos que você tenha um monte de imagens de treinamento com closes do texto. Caso contrário, espere artefatos.
- Aqui você pode ter um dataset mais solto e criativo. A estética ou o material das obras deve ser exatamente o mesmo, mas os temas podem e devem ser bem diversos.
- Pintura a óleo, anime, cromo líquido, mármore, low poly: qualquer visual ou meio autêntico.
Esta amostra de um dataset Low Poly contém personagens e fundos únicos.
Esta imagem gerada com o estilo Low Poly criou um tema e uma composição totalmente novos.
- Uma grande variedade impede que o estilo sofra overfitting em um tema específico, permitindo que ele seja realmente criativo.
2. Refinamento
Agora é hora de ajustar os parâmetros técnicos. A Krea vai dar um nome ao seu Custom Style e atribuir uma palavra-gatilho (trigger word) para usar nos prompts (altere se precisar).Você também pode conferir os indicadores de número de imagens e resolução média. Até aqui, tudo certo.
Modelo
- O superpoder da Krea é rodar vários dos principais modelos de geração de imagem e vídeo.
- Cada modelo tem suas próprias especialidades, mas vale a pena experimentar todos. Resumo rápido:
Passos
- Mais passos = mais tempo estudando os dados. Isso também pode custar muito processamento e causar overfitting, quando o estilo só regurgita as imagens de treinamento. Um bom valor inicial é quantidade de imagens x 20.
Padrão: 250.
Taxa de aprendizado
- Uma taxa de aprendizado mais alta pode acelerar o treinamento, mas também pode levar a overfitting do estilo nos dados. Uma taxa de aprendizado baixa vai levar mais tempo para treinar.
Padrão: 0.004 (4e-3)
Tamanho do lote
- Tamanhos de lote maiores podem acelerar o treinamento, mas também gerar resultados genéricos. Recomendamos ajustar o tamanho do lote (Batch Size) e a taxa de aprendizado (Learning Rate) proporcionalmente. Para datasets pequenos, fique com o nosso padrão.
Padrão: 1
3. Alquimia
Com o estilo treinado, é hora de experimentar. Mestres do prompt: é aqui que vocês arrasam.Leve o estilo ao limite:
- Vá além. Encontre os pontos fortes e as limitações. Descubra e documente quando o estilo gera ótimos resultados e quando não gera.
- Se os resultados estiverem com overfitting no estilo, considere:
- Diversificar os dados de treinamento
- Reduzir a taxa de aprendizado
- Se os resultados estiverem variados demais, considere:
- Adicionar mais imagens ao dataset
- Remover imagens fracas ou muito diferentes do dataset
- Aumentar a taxa de aprendizado
- Se os resultados estiverem com overfitting no estilo, considere:
Com base nessas gerações de amostra muito parecidas, este estilo pode estar com overfitting. Tente de novo.
Retreinamento
- Experimente outro modelo
- Um modelo pode capturar seu estilo melhor do que outro. Compare as opções, é para isso que a Krea existe. Consulte a tabela de modelos acima se tiver dúvidas.
- Combine datasets
- Combinar dois ou mais datasets pode criar estéticas realmente únicas. Quando estiver travado ou frustrado com as limitações de um estilo, dê uma nova vida a ele.
- Continue experimentando
- Aumente ou diminua o número de imagens.
- Garanta que todas as suas imagens sejam de alta resolução.
- Brinque com as configurações de ajuste fino da Krea.