Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -12,7 +12,8 @@ login(os.getenv('hf_token'))
|
|
| 12 |
def infer_ocrvqa(image, question):
|
| 13 |
model = PaliGemmaForConditionalGeneration.from_pretrained("google/paligemma-3b-ft-ocrvqa-896").to("cuda")
|
| 14 |
processor = PaliGemmaProcessor.from_pretrained("google/paligemma-3b-ft-ocrvqa-896")
|
| 15 |
-
|
|
|
|
| 16 |
predictions = model.generate(**inputs, max_new_tokens=100)
|
| 17 |
return processor.decode(predictions[0], skip_special_tokens=True)[len(question):].lstrip("\n")
|
| 18 |
|
|
|
|
| 12 |
def infer_ocrvqa(image, question):
|
| 13 |
model = PaliGemmaForConditionalGeneration.from_pretrained("google/paligemma-3b-ft-ocrvqa-896").to("cuda")
|
| 14 |
processor = PaliGemmaProcessor.from_pretrained("google/paligemma-3b-ft-ocrvqa-896")
|
| 15 |
+
systemprompt = "Ты ассистент по анализу финансовых отчетов. Ниже приведены вопросы по данным на изображении. Необходимо отвечать на вопросы по суммам в таблицах максимально точно и обращать внимание на названия колонок таблиц. Вопросы: "
|
| 16 |
+
inputs = processor(images=image,text=systemprompt+question, return_tensors="pt").to("cuda")
|
| 17 |
predictions = model.generate(**inputs, max_new_tokens=100)
|
| 18 |
return processor.decode(predictions[0], skip_special_tokens=True)[len(question):].lstrip("\n")
|
| 19 |
|