Sketch2Code是微软的AI实验室开源的有趣Web工具，遵守MIT开源协议。工具借助AI将手绘的用户界面草图转换为可用的 HTML 代码，使用简单，只要上传手绘的原型图片，自定义视觉模型会预测在图像中出现的 HTML 元素，并将它们的位置标出来。 同时识别读取预测元素中的文本。根据预测元素的边框空间信息生成网格结构后，生成 HTML 代码。

Sketch2Code使用组件包括：

  • 微软自定义视觉模型（Custom Vision）：模型基于不同的手绘稿的图象训练，标记了与常见 HTML 元素（如文本框、按钮、图像等）相关的信息。
  • 微软计算机视觉服务：用于识别设计元素中的文本。
  • Azure Blob Storage：保存与 HTML 生成过程的每个步骤相关的信息，包括原始图像、预测结果、布局和分组信息等。
  • Azure Function：作为后端入口点，通过与其他服务发生交互来协调生成过程。
  • Azure Website：用户界面前端，用户可以在这里上载设计图，并查看生成的 HTML。

官网试用：https://sketch2code.azurewebsites.net/

[repo owner=”Microsoft” name=”ailab”]