Skip to content

Add Qwen3.5 4B offline model package support#79

Open
Android-PowerUser wants to merge 1 commit intotausche-glm-5-gegen-glm-5v-turbofrom
fix-qwen-3.5-offline-model-initialization-error
Open

Add Qwen3.5 4B offline model package support#79
Android-PowerUser wants to merge 1 commit intotausche-glm-5-gegen-glm-5v-turbofrom
fix-qwen-3.5-offline-model-initialization-error

Conversation

@Android-PowerUser
Copy link
Copy Markdown
Owner

Zusammenfassung

  • Neues Offline-Modell Qwen3.5 4B (offline) in ModelOption ergänzt (ohne "multimodal" im Anzeigenamen)
  • Download-Konfiguration für Qwen auf model_quantized.litertlm gesetzt und Paket-Add-ons ergänzt:
    • sentencepiece.model
    • tokenizer.json
    • tokenizer_config.json
  • Offline-Downloadmanager auf Paket-Downloads erweitert (mehrere Dateien pro Modell), inkl. Resume/Retry und vorhandene Dateien überspringen
  • Offline-Integritätsprüfung ergänzt: fehlende Pflichtdateien werden vor Engine-Init klar gemeldet
  • Offline-Initialisierung für alle .litertlm-Modelle verallgemeinert (nicht mehr nur Gemma 4), damit Qwen über LiteRT-Engine initialisiert wird

Hintergrund zur Fehlermeldung

Der Fehler tokenizer is not found in the model ... SentencePiece kommt typischerweise daher, dass das LiteRT-Artefakt keinen eingebetteten Tokenizer enthält und die Runtime eine externe SentencePiece-Datei braucht. Deshalb wird sentencepiece.model jetzt als Pflichtdatei mitgeladen und vor Initialisierung geprüft.

Hinweise

  • Kein Wechsel auf das 9-GB-model_multimodal.litertlm; es bleibt bei model_quantized.litertlm + nötigen Tokenizer-Dateien.
  • Die Vision-Adapter-.tflite-Dateien wurden bewusst nicht als Pflichtdownload aufgenommen, solange die Initialisierung mit quantisiertem .litertlm + Tokenizer stabil läuft.

Checks

  • Es wurden keine Builds/Tests ausgeführt (statische Anpassungen).

Codex Task

Copy link
Copy Markdown
Contributor

@amazon-q-developer amazon-q-developer bot left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

The implementation successfully adds Qwen3.5 4B offline model support with multi-file package downloads. The code properly handles package integrity checks, generalizes LiteRT model initialization, and extends the download manager to support multiple files per model with resume/retry capabilities. No critical defects found that would block merge.


You can now have the agent implement changes and create commits directly on your pull request's source branch. Simply comment with /q followed by your request in natural language to ask the agent to make changes.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant